외부 의존성 없이 내 컴퓨터에서 언어 모델을 돌리는 방법
클라우드 서버에 연결하지 않고 내 컴퓨터에서 언어 모델을 직접 실행하고 싶다면, 이 도구가 그 장벽을 낮춥니다. 복잡한 환경 설정 없이 코드를 빌드하거나 바이너리를 받아 바로 모델을 돌릴 수 있는 구조입니다. 이는 C와 C++로 작성되어 있어 특정 언어 런타임이나 프레임워크에 묶이지 않고 다양한 하드웨어에서 동작하도록 설계되었습니다.
하드웨어에 맞춘 최적화
이 프로젝트는 특정 칩에 의존하지 않고 폭넓은 하드웨어를 지원합니다. Apple Silicon은 ARM NEON, Accelerate, Metal 프레임워크를 통해 최적화되어 있으며, x86 아키텍처는 AVX, AVX2, AVX512, AMX 지시어를 활용합니다. RISC-V 아키텍처도 RVV, ZVFH, ZFH, ZICBOP, ZIHINTPAUSE 지시어를 지원합니다. NVIDIA GPU는 커스텀 CUDA 커널을 사용하고, AMD GPU는 HIP, Moore Threads GPU는 MUSA를 통해 연산합니다. 또한 Vulkan과 SYCL 백엔드도 지원하여 더 많은 그래픽 카드를 활용할 수 있습니다.
메모리 사용량 줄이기
모델을 더 빠르게 실행하고 메모리 사용량을 줄이기 위해 다양한 정량화 옵션을 제공합니다. 1.5비트부터 8비트까지의 정수 정량화를 지원하여 하드웨어 사양에 맞춰 모델 크기를 조절할 수 있습니다. CPU와 GPU를 함께 사용하는 하이브리드 추론 기능도 있어, VRAM 용량보다 큰 모델을 부분적으로 가속화할 수 있습니다. 이는 제한된 메모리를 가진 환경에서도 대형 모델을 실행할 가능성을 열어줍니다.
설치와 실행 방법
설치는 여러 경로로 가능합니다. curl 또는 PowerShell 스크립트를 실행하거나, Docker를 사용하거나, 릴리스 페이지에서 미리 빌드된 바이너리를 다운로드할 수 있습니다. 소스에서 직접 빌드하는 방법도 제공되며, Android 빌드 가이드도 있습니다. 설치 후 llama cli 명령어로 Hugging Face에서 모델을 직접 다운로드하여 실행할 수 있습니다. llama serve 명령어를 사용하면 OpenAI 호환 API 서버를 띄울 수도 있습니다.
사용 전 확인 사항
이 도구는 C/C++로 작성되어 있어 특정 언어 생태계에 익숙하지 않은 사용자에게는 빌드 과정이 낯설 수 있습니다. 하드웨어 지원 목록은 광범위하지만, 모든 조합이 동일한 성능을 보장하지는 않으므로 자신의 환경에서 테스트해 보는 것이 좋습니다.