내 컴퓨터에서 사진과 도구를 다루는 27B 언어 모델을 실행하는 방법
브라우저에서 사진이나 PDF를 올리고, 코드를 실행하거나 웹 검색을 시키며 대화하는 장면을 떠올려 보세요. 이 저장소는 그런 상호작용을 외부 서버 없이 내 기기에서 처리할 수 있게 해 줍니다. PrismML이 만든 Bonsai 2 모델과 실행 환경을 한 번에 세팅하는 데모입니다.
크기별 모델 선택과 압축 효율
Bonsai 2는 2B, 4B, 9B, 27B 네 가지 크기로 제공됩니다. 27B가 기본값이지만, 하드웨어 사양이 낮다면 더 작은 모델을 선택해 로컬 환경 부담을 줄일 수 있습니다. 27B 모델은 FP16 대비 약 9분의 1 크기로 압축되었음에도 지능의 98.2%를 유지하며, 수학 및 코딩 성능은 정밀도와 큰 차이가 없습니다. 각 크기는 GGUF와 MLX 두 가지 포맷으로 제공되어 Mac과 다른 플랫폼 모두에서 사용할 수 있습니다.
비전, 도구 호출, 추론 기능
이 모델은 텍스트뿐 아니라 사진, 스크린샷, PDF를 받아 내용을 질문할 수 있는 비전 기능을 지원합니다. 또한 OpenAI 스타일의 도구 호출을 네이티브로 지원하여, MCP 서버를 통해 외부 도구와 연동할 수 있습니다. 추론 모델로 설계되어 대화마다 추론 노력을 조절할 수 있으며, 262K 토큰의 긴 컨텍스트를 하이브리드 어텐션 구조로 효율적으로 처리합니다.
설치와 서버 실행
macOS와 Linux에서는 ./setup.sh를 실행하면 시스템 의존성, Python 환경, 모델 가중치, llama.cpp 바이너리를 자동으로 설치합니다. Windows에서는 PowerShell에서 setup.ps1을 실행하면 됩니다. 설치가 끝나면 ./scripts/start_llama_server.sh를 실행해 로컬 서버를 띄우고, 브라우저에서 http://localhost:8080으로 접속하면 채팅, 비전, 도구 기능을 바로 사용할 수 있습니다. Apple Silicon Mac에서는 MLX 백엔드를 위해 ./scripts/run_mlx.sh나 ./scripts/start_mlx_server.sh를 사용하는 것이 좋습니다.
하드웨어와 포맷에 따른 선택지
llama.cpp는 Metal, CUDA, Vulkan, ROCm, CPU 등 다양한 하드웨어를 자동 감지해 최적의 GPU 오프로딩을 수행합니다. PQ2_0 포맷은 프롬프트 처리 속도를 높이기 위해 1.3GB의 메모리를 더 사용하며, 이 데모의 기본 다운로드 대상입니다. PTQ1_0 포맷은 1.75비트 가중치로 더 작은 크기를 제공하지만 PrismML 포크 버전의 llama.cpp가 필요합니다. 공식 Q2_0 포맷은 최신 upstream llama.cpp에서도 작동하지만, 특정 실험적 기능은 포크 버전이 요구될 수 있습니다.
실행 전 확인해야 할 사항
27B 모델의 PQ2_0 가중치는 약 7.8GB이며, Open WebUI와 코드 인터프리터를 포함하면 추가 용량이 필요합니다. 메모리가 부족한 환경에서는 BONSAI_OPENWEBUI=0과 BONSAI_CODE_INTERPRETER=0을 설정해 불필요한 구성 요소를 건너뛰세요. 추론 모델 특성상 응답 생성 전에 생각 과정을 거치므로, 출력 제한을 넉넉히 설정하거나 추론 노력을 'medium'으로 낮추는 것이 속도 향상에 도움이 됩니다. Apple Silicon 사용자는 MLX 환경이 제대로 구축되었는지 확인하고, 기존 MLX 서버가 실행 중이라면 종료한 후 시작 스크립트를 실행해야 합니다.
