영상 스트리밍으로 실시간 3D 공간을 재구성하는 방법을 여는 도구
카메라로 찍은 영상만 있으면, 그 장면을 3D 점군으로 실시간 변환해 브라우저에서 바로 볼 수 있습니다. 이는 영상 프레임이 들어오는 대로 즉시 3D 구조를 계산하는 스트리밍 방식의 3D 재구성 모델입니다. 복잡한 최적화 과정 없이 한 번의 전방 전파로 결과를 얻어, 긴 영상에서도 안정적인 추론이 가능합니다.
ECCV 2026 구두 발표 및 최신 업데이트
이 프로젝트는 ECCV 2026에서 구두 발표(oral) 및 최우수 논문 후보로 선정되었습니다. 또한 5월 25일에는 KITTI와 Oxford Spires 데이터셋에 대한 평가 스크립트를 공개했습니다.
지오메트릭 컨텍스트 트랜스포머의 작동 방식
이 모델은 좌표 기반 앵커, 자세 참조 윈도우, 궤적 메모리를 결합한 단일 스트리밍 프레임워크를 사용합니다. 이를 통해 좌표 정렬, 밀집된 기하학적 단서, 장거리 드리프트 보정을 하나의 구조 안에서 통합합니다. 피드포워드 아키텍처와 페이지드 KV 캐시 어텐션을 적용하여, 518×378 해상도에서 10,000프레임이 넘는 긴 시퀀스에서도 약 20FPS의 안정적인 추론 속도를 유지합니다. 기존 스트리밍 방식이나 반복 최적화 방식보다 다양한 벤치마크에서 우수한 재구성 성능을 보입니다.
인터랙티브 데모와 오프라인 렌더링 파이프라인
짧은 영상은 demo.py를 실행해 브라우저 기반 viser 뷰어에서 실시간으로 3D 점군을 탐색할 수 있습니다. 3,000프레임이 넘는 긴 영상은 demo_render/batch_demo.py를 사용해 헤드리스 점군 플라이스루 MP4 파일을 생성합니다. 오프라인 파이프라인은 YAML 설정 파일을 통해 카메라 경로(추적, 새의 눈, 고정 등)를 설계할 수 있어, 영상 편집처럼 3D 재구성 결과를 연출할 수 있습니다. 실내 걷기, 야외 운전, 그리고 자체 월드 모델로 생성한 영상까지 다양한 예제를 제공합니다.
설치 및 실행 환경
Python 3.10과 PyTorch 2.8.0, CUDA 12.8 환경을 권장합니다. pip install -e .로 패키지를 설치하고, 효율적인 스트리밍 추론을 위해 FlashInfer를 설치하는 것이 좋습니다. FlashInfer가 없으면 PyTorch 네이티브 어텐션(SDPA)으로 폴백됩니다. 오프라인 렌더링을 사용하려면 Kaolin, ffmpeg, 그리고 CUDA 확장 모듈을 추가로 빌드해야 합니다. 모델 가중치는 Hugging Face 또는 ModelScope에서 다운로드할 수 있습니다.
긴 시퀀스 처리 시 주의할 점
모델은 320뷰로 학습되었으므로, KV 캐시에 320뷰 이상을 저장하면 성능이 저하됩니다. 이를 해결하기 위해 --keyframe_interval을 사용해 N번째 프레임만 키프레임으로 저장하거나, 3,000프레임 이상은 --mode windowed를 사용해야 합니다. 상태 리셋을 기본적으로 수행하지 않으므로, 학습 시 보지 못한 최대 거리 이상으로 이동하면 자세 붕괴가 발생할 수 있습니다. 이 경우 윈도우 모드로 전환하거나 키프레임 간격을 조정해야 합니다. Apache License 2.0으로 배포되며, 연구 목적으로 사용할 때 ECCV 2026 논문을 인용해야 합니다.
