모델을 압축해 추론 속도를 높이고 배포를 준비하는 통합 도구
학습이 끝난 모델을 실제 서비스 환경에 올리기 전에 크기를 줄이고 속도를 높이는 과정을 한 곳에서 처리할 수 있습니다. 양자화, 가지치기, 증류 등 다양한 최적화 기법을 조합해 모델을 압축한 뒤, 배포 프레임워크가 바로 쓸 수 있는 형태로 내보냅니다. 결과적으로 메모리 사용량은 줄고 응답 속도는 빨라져, 제한된 하드웨어에서도 더 큰 모델을 돌릴 수 있는 여지를 만듭니다.
최근 발표와 주요 변화
최근에는 Qwen3.6-35B-A3B 모델을 대상으로 한 W4A4 NVFP4 양자화 튜토리얼이 추가되어, BF16 대비 1.30배 높은 처리량과 3.1배 작은 체크포인트를 달성하면서도 정확도를 회복하는 방법을 보여줍니다. 또한 Nemotron 3 Ultra 550B 모델을 NVFP4로 양자화하여 GLM-5.1 754B FP4 대비 최대 5.9배 높은 디코드 중심 추론 처리량을 기록하면서도 BF16 수준의 정확도를 유지하는 사례가 공개되었습니다. 2025년 12월에는 'NVIDIA TensorRT Model Optimizer'에서 'NVIDIA Model Optimizer'로 공식 명칭이 변경되었으며, 2025년 1월에는 오픈소스로 전환되어 커뮤니티 기여를 받고 있습니다.
모델 압축과 속도 향상을 위한 기법
이 도구는 단순히 모델을 변환하는 것을 넘어, 다양한 최적화 기법을 Python API로 조합할 수 있게 합니다.
- 학습 후 양자화 모델 크기를 2~4배 압축하여 추론 속도를 높이고 품질을 유지합니다.
- 가지치기와 증류 불필요한 가중치를 제거하거나 작은 모델이 큰 모델처럼 동작하도록 학습시켜 배포 크기를 줄입니다.
- 추측 디코딩 드래프트 모듈을 훈련해 추론 중 추가 토큰을 예측하고 지연 시간을 단축합니다.
입력 형식과 배포 프레임워크 연동
Hugging Face, PyTorch, ONNX 형식의 모델을 입력으로 받아 최적화 작업을 수행합니다. 최적화된 양자화 체크포인트는 SGLang, TensorRT-LLM, TensorRT, vLLM 등 하류 배포 프레임워크에 바로 적용할 수 있도록 설계되었습니다. Hugging Face 내보내기 API는 트랜스포머와 디퓨저 모델 모두를 지원하며, NVIDIA Megatron-Bridge, Megatron-LM, Hugging Face Accelerate와 통합되어 필요한 추론 최적화 기법의 훈련 과정도 지원합니다. 이를 통해 개발자는 복잡한 배포 파이프라인을 직접 구성하지 않고도 최적화된 모델을 빠르게 서비스 환경에 올릴 수 있습니다.
설치 방법과 요구 사항
안정적인 릴리스 패키지는 PyPI에서 pip install -U nvidia-modelopt[all] 명령으로 설치할 수 있으며, 이 과정에서 추가적인 제3자 오픈소스 소프트웨어가 다운로드됩니다. 소스에서 개발 의존성과 함께 설치하거나 최신 기능을 사용하려면 저장소를 클론한 뒤 pip install -e .[dev]를 실행합니다. NVIDIA 컨테이너 이미지(nvcr.io/nvidia/pytorch, nvcr.io/nvidia/nemo, nvcr.io/nvidia/tensorrt-llm/release)를 사용하면 Model Optimizer가 미리 설치된 환경에서 바로 작업을 시작할 수 있습니다. 설치 전에는 포함된 오픈소스 프로젝트의 라이선스 조항을 검토해야 합니다.
사용 전 확인 사항과 주의점
이 도구는 아직 1.0 버전 이전(pre-1.0) 상태이므로, 비추천 기능에 대한 이주 기간이 약 1개월(1개 릴리스)로 짧게 설정되어 있습니다. 따라서 특정 API나 파라미터가 제거될 수 있으므로, 프로덕션 환경에 적용하기 전에는 변경 로그를 확인하고 최신 버전으로 업그레이드하는 것이 좋습니다. 또한 이 도구는 NVIDIA AI 소프트웨어 생태계와 긴밀하게 통합되어 있어, 해당 생태계 외의 환경에서는 일부 기능이 제한될 수 있습니다.
