내 컴퓨터 사양에 맞는 오픈소스 AI 모델을 한 번에 골라주는 도구
수백 개의 오픈소스 언어 모델 중 내 하드웨어에서 실제로 돌아가는 것을 고르는 일은 여전히 어렵습니다. 이 도구는 CPU, RAM, GPU 메모리를 자동으로 스캔해 실행 가능한 모델을 점수화해 보여줍니다. 터미널에서 명령어 하나만 치면 내 장비에서 부드럽게 돌아가는 모델 목록이 순서대로 나옵니다.
실제 측정값으로 추정치를 대체하는 벤치마크
최근 업데이트로 내 컴퓨터에서 직접 모델을 실행해 초당 토큰 수를 측정하고 그 결과를 프로젝트에 공유할 수 있는 기능이 추가되었습니다. 터미널 인터페이스에서 바로 벤치마크를 실행하고 결과를 제출하면, 같은 하드웨어를 가진 다른 사용자는 추정이 아닌 실제 측정된 수치를 확인할 수 있습니다. 이 과정은 외부 계정이나 별도 CLI 도구가 필요 없이 로컬에서 먼저 저장된 후 다음 릴리스에 반영됩니다.
하드웨어와 모델의 궁합을 점수화하는 방식
도구는 시스템의 CPU 코어 수, 시스템 RAM, GPU 종류, VRAM 용량, 그리고 통합 메모리 아키텍처를 자동으로 감지합니다. 감지된 사양을 바탕으로 모델의 파라미터 수, 컨텍스트 길이, 양자화 형식(GGUF, AWQ, GPTQ, EXL2)을 분석해 메모리 사용량과 예상 속도를 계산합니다. 각 모델은 적합성, 속도, 품질, 컨텍스트 처리 능력이라는 네 가지 차원에서 점수를 받아 순위가 매겨집니다. 속도 추정치는 메모리 대역폭 모델과 실제 커뮤니티 측정 데이터를 기반으로 하며, llmfit info 명령으로 어떤 전제 조건이 숫자에 반영되었는지 확인할 수 있습니다.
터미널, 웹, API로 다양한 환경에서 사용
기본적으로 의존성이 없는 가벼운 터미널 인터페이스(TUI)를 제공하며, 웹 대시보드나 REST API 서버로도 실행할 수 있습니다. TUI에서는 키보드 단축키로 모델 목록을 탐색하고 필터링하며, 커뮤니티 벤치마크 리더보드를 열람할 수 있습니다. 자동화 파이프라인이나 대시보드 연동이 필요할 때는 /api/v1/system과 /api/v1/models 엔드포인트를 통해 JSON 형식의 데이터를 가져올 수 있습니다. Docker 이미지를 통해 컨테이너 환경에서도 인터랙티브 모드나 헤드리스 API 서버로 쉽게 배포할 수 있습니다.
사용 전 확인해야 할 사항
이 도구는 하드웨어 사양 기반의 추정과 커뮤니티 기여 데이터를 결합해 모델을 추천하지만, 모든 모델이 내 환경에서 완벽하게 동작한다는 보장은 없습니다. Windows 바이너리는 코드 서명 작업이 성공적으로 완료된 경우에만 서명되며, 서명되지 않은 아티팩트가 배포될 수도 있으므로 보안이 중요한 환경에서는 실행 파일 서명을 반드시 검증해야 합니다. 또한 이 프로그램은 사용자가 명시적으로 요청한 경우(모델 다운로드, 리더보드 조회 등)를 제외하고는 외부 네트워크로 정보를 전송하지 않습니다.
