긴 회의록을 한 번에 정리하고, 여러 사람의 목소리로 팟캐스트를 만드는 오픈소스 음성 AI
60분짜리 회의 녹음을 넣으면 누가 언제 무엇을 말했는지 구조화된 텍스트로 뽑아내고, 반대로 텍스트를 넣으면 90분짜리 대화까지 합성합니다. 마이크로소프트가 공개한 VibeVoice는 음성 인식과 합성을 아우르는 모델 모음입니다. 긴 오디오를 잘게 쪼개지 않고 한 번에 처리해 맥락을 유지하는 점이 특징입니다.
최근 발표: 스트리밍 인식과 CPU 전용 엔진
2026년 9월 3일, 음성이 도착하는 즉시 '누가 무엇을 말했는지'를 연속으로 전사하는 VibeVoice-ASR-Streaming이 공개되었습니다. 이 모델은 사용자 정의 핫워드와 10개 언어를 지원합니다. 앞서 7월 23일에는 엣지 CPU에서 실시간 추론이 가능한 VibeVoice-ASR-BitNet이 나왔습니다. 이질적 양자화(I8_S + I2_S)를 적용해 모델 크기를 4.62GB에서 1.58GB로 줄였고, GPU 없이 3개 이상의 CPU 스레드에서 실시간 처리(RTF < 1)를 수행합니다.
60분 오디오를 한 번에 읽는 인식 모델
VibeVoice-ASR은 최대 60분 길이의 오디오를 64K 토큰 길이 내에서 한 번에 처리합니다. 기존 모델들이 오디오를 짧은 조각으로 잘라 전역 맥락을 잃는 것과 달리, 이 모델은 1시간 내내 화자 추적과 의미 일관성을 유지합니다. 출력에는 화자(Who), 타임스탬프(When), 내용(What)이 함께 들어가는 구조화된 전사본이 생성됩니다. 특정 이름이나 기술 용어, 배경 정보를 핫워드로 제공하면 해당 도메인에서의 인식 정확도가 높아집니다. 오디오가 아직 도착하는 중에 텍스트를 출력하는 스트리밍 변형도 지원합니다.
긴 대화 합성과 실시간 TTS
VibeVoice-TTS는 최대 90분 길이의 대화형 음성을 한 번에 합성하며, 최대 4명의 서로 다른 화자를 지원해 자연스러운 턴테이킹과 화자 일관성을 유지합니다. 영어, 중국어 등 다국어 지원이 가능하며, ICLR 2026에서 Oral로 채택된 연구 기반입니다. 현재는 VibeVoice-Realtime-0.5B가 실시간 텍스트-음성 변환을 담당합니다. 이 모델은 0.5B 파라미터 규모로 배포에 유리하며, 첫 번째 소리까지 약 300밀리초의 지연 시간을 보입니다. 스트리밍 텍스트 입력을 지원하고 약 10분 길이의 긴 음성 생성이 안정적입니다. 2025년 12월 16일에는 9개 언어의 다국어 화자와 11가지 영어 스타일 화자가 실험용으로 추가되었습니다.
연구용 도구로서의 한계와 주의점
이 모델은 연구 및 개발 목적으로만 의도되었으며, 상업적 또는 실세계 적용을 권장하지 않습니다. 추가 테스트와 개발이 필요합니다. 기본 모델(Qwen2.5 1.5b)에서 유래한 편향, 오류, 누락이 있을 수 있으며, 고품질 합성 음성이 사칭이나 사기, 허위 정보 유포에 악용될 위험이 있습니다. 생성된 콘텐츠의 신뢰성과 정확성을 반드시 확인하고, AI 생성임을 명시하는 것이 좋습니다. 법적 준수와 책임 있는 사용을 전제로 해야 합니다.
