데이터센터 없이 내 컴퓨터에서 수백억 개 매개변수 모델 실행하기
거대한 AI 모델을 내 데스크톱에서 직접 실행해 봅니다. 기존 하드웨어의 한계를 넘어서는 이 도구는, 모델의 일부만 메모리에 두고 나머지는 디스크에서 필요할 때만 읽어오는 방식으로 작동합니다. 복잡한 설치 과정 없이 몇 가지 명령어만으로 내 컴퓨터 사양에 맞는 최적의 모델을 자동으로 선택하고 실행할 수 있게 됩니다.
디스크에서 전문가를 불러오는 원리
기존 방식은 모델 전체를 빠른 메모리에 올려야 했기에 하드웨어 비용이 막대했습니다. colibri는 혼합 전문가(MoE) 모델의 특성을 활용해, 토큰 생성 시 실제로 사용되는 일부 전문가만 RAM에 두고 나머지는 디스크에 보관합니다. 모델이 특정 전문가를 필요로 할 때만 디스크에서 읽어오며, 이 과정에서 GPU가 있으면 가장 많이 쓰이는 전문가를 GPU 메모리에 우선 배치합니다. 이렇게 하면 RAM 용량이 모델 전체 크기보다 작아도, 디스크 읽기 속도에 따라 모델이 정상적으로 동작합니다. 이는 거대 모델을 일반 사용자 하드웨어에서 실행 가능하게 만드는 핵심 기법입니다.
하나의 명령어로 시작하는 설치
Windows, Linux, macOS 모두에서 단일 스크립트로 설치가 진행됩니다. ./start-here.sh 또는 START-HERE.bat를 실행하면 시스템의 RAM, 디스크 공간, CPU, GPU 정보를 자동으로 분석합니다. 이 분석 결과를 바탕으로 내 사양에 맞는 모델을 추천하며, 컴파일러가 있으면 소스에서 빌드하고 없으면 미리 빌드된 바이너리를 다운로드합니다. 모델 다운로드 중단을 원할 때 언제든 멈추고 다시 실행하면 중단된 위치부터 이어받습니다. 설치가 끝나면 브라우저 대시보드가 열리고, 다른 앱에서 사용할 수 있는 API 주소가 표시됩니다. 다음 실행부터는 다운로드나 빌드 없이 바로 시작됩니다.
지원되는 모델과 하드웨어 요구 사항
현재 13개의 엔진이 지원되며, 언어 모델 10개, 이미지 생성 모델 1개, 의사결정 모델 2개가 포함됩니다. GLM-5.2, DeepSeek V4, Qwen3.6, Kimi K3 등 최신 오픈소스 모델들을 지원합니다. 최소 8GB RAM과 22GB의 디스크 공간이 필요하며, 더 큰 모델을 돌리려면 16GB 이상의 RAM과 빠른 NVMe 디스크가 유리합니다. GPU는 필수 사항이 아니며, CPU만으로 모든 엔진이 실행됩니다. Vulkan을 통해 AMD, Intel, NVIDIA의 통합 및 이산 GPU를 지원하며, NVIDIA 카드는 CUDA를 통해 더 높은 성능을 낼 수 있습니다. Apple Silicon은 Metal 백엔드를 통해 일부 엔진에서 GPU 연산을 지원합니다.
대시보드와 시스템 원(System One) 기능
브라우저 기반 대시보드는 채팅, 시스템 원, 브레인, 프로파일링 페이지를 제공합니다. 시스템 원은 텍스트 생성이 아닌 확률 기반 의사결정을 수행합니다. 주어진 상태와 질문을 입력하면 허용된 옵션에 대한 확률과 신뢰도를 반환하며, 모델이 확신하지 못할 때를 수치로 표현합니다. 이는 리뷰 승인, 위험도 평가 등 이진 또는 다중 선택 질문에서 유용합니다. 기존 Jev API 호환성을 유지하여 기존 클라이언트를 수정 없이 전환할 수 있습니다. 대시보드에서는 각 전문가가 활성화되는 모습을 실시간으로 관찰할 수 있어 모델 내부 동작을 이해하는 데 도움이 됩니다.
실행 전 확인해야 할 사항
이 도구는 순수 C로 작성되어 의존성이 없으며, 특정 모델의 정밀도나 라우터 동작을 조용히 변경하지 않는 정책을 따릅니다. 하지만 디스크에서 전문가를 스트리밍하는 방식이므로, 모델 크기에 비해 디스크 읽기 속도가 응답 시간을 크게 좌우합니다. 빠른 NVMe 드라이브가 없는 경우 대형 모델의 응답이 느려질 수 있습니다. GPU를 사용할 경우 Vulkan 또는 CUDA 드라이버 버전이 최신인지, 그리고 내 GPU가 해당 엔진의 최적화 대상에 포함되는지 확인하는 것이 좋습니다. README는 모든 모델의 정확한 벤치마크 수치를 제공하므로, 내 하드웨어와 유사한 환경의 성능을 미리 파악할 수 있습니다.
