악보를 직접 고쳐 완성된 노래를 만드는 음악 생성 도구
가사와 스타일 설명만 입력하면 멜로디와 화음으로 이루어진 악보가 먼저 나오고, 그 악보가 보컬과 반주가 담긴 완성된 노래로 변환됩니다. 이때 생성된 악보를 사람이 직접 확인하고 수정할 수 있어, 원하는 대로 곡을 다듬은 후 최종 음성을 들을 수 있습니다. YuE2는 음악 생성 과정을 악보라는 형태로 보여주고 개입할 수 있게 하는 도구입니다.
악보로 계획하고 음원으로 완성
YuE2는 텍스트를 입력받아 먼저 멜로디와 화음의 구조를 계획하는 단계로 시작합니다. 이 계획은 ABC 악보 형식으로 출력되어 사용자가 직접 읽거나 수정할 수 있습니다. 수정된 악보를 다시 입력하면, 시스템은 해당 구조에 맞춰 보컬과 반주를 포함한 완성된 노래를 생성합니다. 이러한 방식은 생성된 음악의 구조를 이해하고 개입할 수 있게 합니다.
커버와 대화형 편집
기존 음원을 악보로 변환한 뒤 새로운 스타일로 재해석하는 제로샷 커버 기능이 있습니다. 또한 에이전트와 대화하며 화음, 멜로디, 가사 등을 수정하고 새로운 음원을 생성하는 편집 워크플로우도 지원합니다. 이 모든 과정은 동일한 모델 체크포인트를 사용하며, 별도의 미세 조정 없이 다양한 음악적 변형을 만들어낼 수 있습니다.
WildSongBench 평가 결과
WildSongBench 평가에서 YuE2는 192개의 프롬프트를 대상으로 테스트되었습니다. best-of-8 설정에서 SongBench 평균 6.9632점을 기록하며, 평가된 모든 설정 중 가장 높은 평균 점수를 달성했습니다. 이 점수는 Suno v5/v6 등 주요 상용 시스템과 경쟁하는 수준입니다. 다만, 최고 점수 간의 차이는 통계적 유의성을 확립하지는 못한다는 점을 참고해야 합니다.
실행 환경과 라이선스 확인
로컬에서 실행하려면 Linux 환경, Python 3.12, 그리고 BF16을 지원하는 24GB VRAM 이상의 NVIDIA GPU가 필요합니다. 모델 가중치는 Hugging Face에서 다운로드되며, 코드는 Apache 2.0 라이선스입니다. 모델 가중치는 CC BY-NC 4.0 라이선스에 추가 창작자 권한이 적용되며, 개인 및 콘텐츠 크리에이터는 무료로 사용 및 수익화가 가능합니다.
