수조 개 매개변수 모델의 강화 학습 후학습을 끊김 없이 이어가는 방법
모델이 새로운 지식을 흡수하는 과정에서 추론과 학습이 서로를 기다리며 멈추는 시간을 줄이고 싶습니다. Miles는 추론 엔진과 학습 엔진을 분리해 동시에 돌리는 구조로, 대규모 모델의 후학습을 연속적으로 진행합니다. 이는 slime에서 분기되어 함께 발전해 온 기업용 강화 학습 프레임워크입니다.
v0.1 출시와 최신 모델 대응
이 버전은 프로덕션 수준의 후학습을 목표로 정밀도와 안정성 기능을 강화했습니다. SGLang과 함께 DeepSeek-V4.1, Qwen3.8, Kimi K3 등 최신 프론티어 모델에 대한 출시 당일(day-0) 지원을 제공합니다. 또한 Blackwell 아키텍처에 맞춘 8비트와 4비트 RL 훈련을 지원하며, AMD Instinct MI355X에서도 DeepSeek-V4 Flash RL 훈련이 가능합니다.
비동기 파이프라인과 빠른 가중치 전달
Miles는 롤아웃(추론)과 학습 워커를 완전히 비동기로 분리하여 운영합니다. 이를 통해 파이프라인의 대기 시간을 줄이고, 온-폴리시와 오프-폴리시 스케줄을 유연하게 설정할 수 있습니다. 수조 개 매개변수를 가진 모델에서도 새 가중치가 엔진에 몇 초 만에 전달되어 학습 루프가 끊기지 않습니다. 분산 환경에서는 P2P RDMA를 통해 가중치 전송 속도를 높입니다. LoRA와 멀티-LoRA를 지원하여 적은 수의 GPU로 프론티어 규모 모델을 훈련할 수 있으며, 학습된 어댑터를 SGLang에 바로 로드해 추론에 사용합니다.
정확성 유지와 장애 복구
토큰 단위 입출력(TITO) 방식을 지원하여 추론과 학습 사이에서 토큰을 다시 변환하는 과정 없이 정확도를 유지합니다. MoE 모델의 라우팅 불일치로 인한 불안정성을 제거하기 위해, 롤아웃 중 기록된 전문가 라우팅을 학습자의 포워드 패스에서 재사용하는 R3(Rollout Routing Replay) 기능을 제공합니다. SGLang 엔진이 중단되더라도 Miles는 해당 엔진을 복구하고 실행을 즉시 재개하여 전체 실행을 중단하지 않습니다.
하드웨어와 에이전트 환경 지원
NVIDIA의 GB300부터 A100까지, AMD의 MI355X부터 MI300X까지 광범위한 하드웨어를 지원합니다. Ray 또는 Kubernetes를 통해 동일한 런 스크립트로 배포할 수 있어 인프라 선택의 자유도가 높습니다. 코딩 및 컴퓨터 사용 에이전트 훈련을 위해 Harbor, HUD, NeMo Gym 등 다양한 에이전트 환경 커넥터를 제공합니다. 또한 Miles-diffusion을 통해 Flow-GRPO와 DiffusionNFT 등 확산 모델 훈련도 지원합니다.
도입 전 점검 사항
Miles는 Python으로 작성되며 SGLang, Megatron-LM, torch_memory_saver와 통합되어 동작합니다. FSDP2와 torchtitan 백엔드도 지원합니다. 특히 저정밀도 훈련(MXFP8, NVFP4)을 사용할 경우 수치적 안정성을 위한 레시피를 따르는지 점검하는 것이 좋습니다.
