자연어 설명만으로 목소리를 만들고, 30개 언어로 스튜디오 품질의 음성을 합성하는 도구
참조 오디오 없이 '젊은 여성, 부드럽고 달콤한 목소리'라고 적기만 하면 그에 맞는 목소리가 만들어집니다. VoxCPM2는 텍스트를 음성으로 바꾸는 과정에서 이산 토큰화를 거치지 않고 연속적인 음성 표현을 직접 생성하는 시스템입니다. 이를 통해 30개 언어의 자연스러운 화음과 정밀한 목소리 복제가 가능해집니다.
2026년 4월 공개된 VoxCPM2의 변화
이전 버전과 달리 30개 언어를 지원하며, 48kHz의 스튜디오 품질 오디오를 출력합니다. NVIDIA RTX 4090 기준 실시간 처리 비율(RTF)이 약 0.3이며, Nano-vLLM을 사용하면 약 0.13까지 낮아집니다. Apache-2.0 라이선스로 공개되어 상업적 사용이 가능합니다.
목소리 생성과 복제의 세 가지 방식
VoxCPM2는 사용자의 필요에 따라 세 가지 다른 방식으로 목소리를 생성합니다.
- 목소리 디자인 참조 오디오 없이 자연어 설명만으로 새로운 목소리를 만듭니다. 성별, 나이, 톤, 감정, 속도 등을 텍스트로 지정하면 그에 맞는 음성이 생성됩니다.
- 제어 가능한 복제 짧은 참조 오디오 클립을 제공하면 원래의 음색을 유지하면서 감정, 속도, 표현을 제어 지시문으로 조정할 수 있습니다.
- 최고 품질 복제 참조 오디오와 그 텍스트 전사본을 함께 제공하면 모델이 참조 음성을 자연스럽게 이어가며 음색, 리듬, 감정, 스타일까지 모든 세부 사항을 재현합니다.
설치와 실행 방법
Python 3.10 이상(3.13 미만), PyTorch 2.5.0 이상, CUDA 12.0 이상 환경에서 pip install voxcpm 명령으로 설치합니다. Python API를 통해 VoxCPM.from_pretrained로 모델을 로드한 뒤 generate 메서드에 텍스트와 옵션을 전달하면 음성 파일을 생성합니다.
배포 환경과 미세 조정
고처리량 서버 배포에는 Nano-vLLM-VoxCPM을, 멀티 테넌트 프로덕션 환경에는 vLLM-Omni를 사용할 수 있습니다. vLLM-Omni는 OpenAI 호환 API를 제공하여 기존 클라이언트에서 바로 호출할 수 있습니다. Python 없이 엣지 디바이스에서 실행하려면 llama.cpp-omni를 통해 GGUF 형식의 가중치를 CPU, Metal, CUDA, Vulkan에서 돌릴 수 있습니다. 또한 5~10분 분량의 오디오 데이터만으로도 특정 화자나 도메인에 맞춰 LoRA 미세 조정이 가능합니다.
사용 전 확인해야 할 사항
VoxCPM2는 매우 현실적인 합성 음성을 생성하므로 사칭, 사기, 허위 정보 유포에 사용하는 것은 엄격히 금지됩니다. AI 생성 콘텐츠임을 명확히 표시하는 것이 권장됩니다. 목소리 디자인과 제어 가능한 복제는 실행마다 결과가 달라질 수 있어 원하는 음성을 얻기 위해 1~3회 정도 반복 생성을 시도해야 할 수 있습니다. 공식적으로 30개 언어를 지원하지만, 목록에 없는 언어는 직접 테스트하거나 자체 데이터로 미세 조정해야 합니다. 프로덕션 배포 전에는 사용 사례에 맞는 철저한 테스트와 안전성 평가를 수행해야 합니다.
