긴 영상과 복잡한 문서, 화면 속 물체 위치까지 하나의 모델로 처리하는 비전-언어 모델
긴 영상에서 특정 장면을 찾아내거나, 복잡한 문서의 그래프를 해석하고, 화면 속 물체의 위치를 정확히 짚어내는 작업을 하나의 모델로 처리할 수 있습니다. NVIDIA가 개발한 Eagle은 데이터 중심의 전략을 통해 비전과 언어를 결합하는 방식을 탐구한 모델 시리즈입니다. 최근에는 LocateAnything라는 일반화 지능 모델이 추가되어, 다양한 시각적 지시 이해 작업을 더 빠르고 정밀하게 수행할 수 있게 되었습니다.
LocateAnything의 등장과 최신 업데이트
이 모델은 Eagle 기반의 일반 비전-언어 지능 모델로, LoRA 미세 조정 스크립트를 지원하여 사용자 맞춤형 학습이 가능합니다. 또한 FlashAttention 런타임을 활용한 배치 추론을 지원하여, A100이나 RTX 4090과 같은 Hopper/Blackwell 아키텍처가 아닌 GPU에서도 효율적인 추론이 가능합니다. 이러한 업데이트는 모델의 접근성과 활용 범위를 넓히는 데 초점을 맞추고 있습니다.
모델 라인업과 각 버전의 역할
Eagle 시리즈는 연구 목적과 활용 분야에 따라 여러 버전으로 나뉩니다.
- LocateAnything 병렬 박스 디코딩을 통해 바운딩 박스를 한 번의 전방 전달로 예측하여 처리 속도를 높입니다. Qwen2.5-3B-Instruct와 MoonViT-SO-400M을 백본으로 사용합니다.
- Eagle 2.5 128K 토큰까지의 긴 컨텍스트를 처리할 수 있어 긴 영상이나 문서 분석에 적합합니다. Qwen2.5-7B-Instruct와 SigLIP2를 사용합니다.
- Eagle 2 16K 토큰 컨텍스트를 지원하며, 다양한 크기의 모델(1B, 2B, 9B)이 제공됩니다. 후학습 데이터 전략의 효과를 검증하는 데 사용됩니다.
실제 적용 사례와 기능
이 모델들은 가상과 물리적 세계 모두에서 다양한 작업을 수행합니다. 예를 들어, LocateAnything는 3D 객체 탐지 및 공간 지능을 보여주며, 실제 환경에서의 3D 객체 감지 예시를 제공합니다. Eagle 2.5는 긴 영상 클립을 분석하여 각 장면을 제목과 상세 캡션으로 나누고, 시작 시간을 초 단위로 표시합니다. 또한 문서 내 그래프를 해석하여 인구 변화 추이와 같은 수치적 정보를 추출하고 설명하는 능력도 갖추고 있습니다.
활용 전 확인해야 할 사항
Eagle 모델의 코드는 Apache 2.0 라이선스로 공개되었지만, 사전 학습된 모델 가중치는 CC BY-NC 4.0 또는 NVIDIA 라이선스에 따라 비영리 연구 목적으로만 사용할 수 있습니다. 또한 일부 코드는 LLaVA, InternVL 등 다른 오픈소스 프로젝트의 수정된 구성 요소를 포함하고 있어, 해당 원본 라이선스도 준수해야 합니다. 모델은 연구 미리보기 버전이므로, 프로덕션 환경에 적용하기 전에는 안정성과 지원 범위를 추가로 검증하는 것이 좋습니다.