텍스트 한 줄로 어떤 골격이든 움직이게 하는 단일 모델
게임 캐릭터, 로봇, 동물, 심지어 꽃까지. 텍스트 프롬프트만 입력하면 해당 골격에 맞는 자연스러운 동작을 실시간으로 생성합니다. 골격마다 따로 학습하거나 최적화할 필요 없이, 하나의 모델이 다양한 구조를 이해하고 움직임을 만들어냅니다. 최근에는 사용자가 직접 가져온 리그된 3D 에셋을 바로 애니메이션 처리할 수 있는 기능이 추가되어 활용 범위가 넓어졌습니다.
다양한 골격을 하나로 묶는 데이터셋
이 모델의 기반이 되는 UniML3D 데이터셋은 7,430개의 서로 다른 골격 구조를 포함합니다. 이족 보행, 사족 보행, 조류, 해양 생물, 곤충, 뱀, 그리고 관절이 있는 강체까지 폭넓게 다루며, 모두 표준화된 형식으로 정리되어 있습니다. 총 13,769개의 텍스트-모션 페어 클립으로 구성되어 있어, 모델이 특정 골격에 편향되지 않고 일반적인 움직임 패턴을 학습할 수 있게 합니다. 데이터 처리 파이프라인은 원본 에셋을 다운로드부터 특징 추출, 캡셔닝, 관절 주석까지 자동으로 처리합니다.
텍스트로 동작을 생성하고 편집하는 방법
추론 단계에서는 리그된 3D 에셋과 텍스트 프롬프트를 입력하면 골격에 맞는 동작을 생성합니다. 골격마다 재학습이나 테스트 시간 최적화가 필요 없어 실시간 처리가 가능합니다. 사용자는 rig_preprocess 도구를 통해 자신의 GLB, glTF, FBX 에셋을 모델이 이해할 수 있는 형식으로 변환할 수 있으며, 이 과정에서 LLM이 관절을 라벨링하고 사용자가 이를 검토하는 단계가 포함됩니다. 프롬프트는 'An object'로 시작하는 짧은 설명이 가장 잘 작동하며, --cfg_scale 값을 조절해 프롬프트 준수 정도를 조절할 수 있습니다.
동작 보간, 편집, 확장까지 하나의 모델로
학습된 모델은 추가 학습 없이 세 가지 추가 작업을 수행합니다. 동작 보간은 지정된 키프레임을 고정하고 그 사이의 전환 동작을 생성합니다. 텍스트 기반 동작 편집은 특정 관절의 움직임을 유지하면서 나머지 부분을 새로운 프롬프트에 따라 재생성합니다. 동작 확장은 여러 프롬프트를 연결해 긴 동작 시퀀스를 만들어내며, 각 세그먼트의 끝과 다음 세그먼트의 시작을 자연스럽게 이어줍니다. 이 모든 작업은 흐름 ODE(미분 방정식)의 노이즈 제거 과정에서 제약 조건을 정확히 적용하는 방식으로 이루어집니다.
실행 전 확인해야 할 사항
이 저장소는 MIT 라이선스로 코드만 공개되며, 공개된 체크포인트는 CC BY-NC 4.0 라이선스를 따릅니다. Truebones ZOO의 동물 동작은 재배포가 허용되지 않는 상용 에셋이므로 직접 구매 후 사용해야 합니다. 또한, 일부 Objaverse-XL 리그와 클립은 결함이 있어 학습 불안정을 일으킬 수 있으므로, 문제 발생 시 Mixamo와 Truebones 데이터만으로 학습을 시도해 원인을 파악하는 것이 좋습니다. 현재는 초기 단계로 여전히 실패하는 동작과 골격이 존재하며, 데이터 스케일업이 향후 개선 방향입니다.