유튜브 영상에서 자막 생성부터 목소리 복제까지, 로컬에서 끝내는 다국어 더빙 워크플로우
유튜브 링크 하나만 붙여넣으면 자막이 뜨고, 원본 목소리를 그대로 살린 다른 언어의 더빙 파일이 만들어지는 장면을 상상해 보세요. Voice-Pro는 영상 다운로드, 음성 분리, 인식, 번역, 합성을 하나의 웹 화면에서 처리하는 도구입니다. 클라우드 서비스의 요금제나 데이터 전송 걱정 없이 내 컴퓨터에서 모든 과정을 돌릴 수 있습니다.
개발 중단과 완전 오픈소스 전환
최근 Voice-Pro는 WeConnect 개발에 집중하면서 업데이트가 잠시 멈춘 상태입니다. 대신 팀은 모든 코드를 오픈소스로 공개하고, 누구나 자유롭게 배포하고 수정할 수 있게 했습니다. 설치 방식도 Miniconda에서 uv로 바뀌어 설치 속도가 빨라졌고, Python 3.12와 최신 Torch 버전을 지원합니다. CUDA Toolkit이나 Visual Studio Build Tools를 따로 설치할 필요 없이, 필요한 모든 의존성이 미리 빌드된 상태로 제공됩니다.
더빙 스튜디오와 음성 기술의 결합
이 도구의 핵심은 '더빙 스튜디오' 탭입니다. 여기서 유튜브 영상을 내려받고, Demucs로 배경음과 목소리를 분리한 뒤, Whisper 계열 모델로 텍스트를 추출합니다. 추출된 텍스트는 100개 이상의 언어로 번역되며, Edge-TTS나 F5-TTS, CosyVoice 같은 모델로 다시 음성으로 변환됩니다. 특히 F5-TTS와 CosyVoice는 짧은 샘플만으로도 원본 화자의 목소리를 흉내 내는 제로샷 클로닝 기능을 제공합니다. 한국어와 8개 언어를 지원하는 Fun-CosyVoice3 모델도 추가되어 선택지가 넓어졌습니다.
로컬 실행 환경과 요구 사항
Windows 10/11 64비트 환경에서 NVIDIA GPU와 함께 가장 안정적으로 동작합니다. Mac과 Linux도 지원되지만, 공식적으로 검증되지 않은 상태입니다. GPU 메모리는 4GB 이상, 권장 8GB 이상이며, 시스템 RAM은 4GB 이상, 저장 공간은 20GB 이상 필요합니다. 인터넷 연결은 필수이며, 첫 실행 시 약 10GB 용량의 AI 모델이 다운로드됩니다. 관리자 권한 없이도 실행 가능하며, ffmpeg가 없으면 자동으로 휴대용 버전을 내려받습니다.
사용 전 확인해야 할 점
현재 개발이 중단되어 버그 수정이나 새로운 기능 추가가 이루어지지 않습니다. 따라서 최신 AI 모델이나 라이브러리 업데이트를 기대하기 어렵습니다. 또한 무료 서비스인 Deep-Translator와 Edge-TTS를 기본으로 사용하므로, 기업 네트워크에서 차단되거나 속도 제한이 걸릴 수 있습니다. 이 경우 Azure API 키를 설정해 전환할 수 있지만, 이는 추가 비용이 발생합니다. GPU 메모리가 부족하면 CUDA Out-Of-Memory 오류가 발생할 수 있으므로, 노이즈 제거 레벨을 낮추거나 int 타입으로 계산 방식을 변경하는 등 설정 조정이 필요합니다.
