2.78조 매개변수 모델을 8GB 램 노트북에서 돌리는 방법
데이터센터가 아닌 내 책상 위 컴퓨터에서 거대한 언어 모델을 직접 실행해 봅니다. 1.56TB 크기의 모델 파일을 가지고도 8GB 메모리만 있으면 추론이 가능하도록 설계된 C 언어 기반 엔진입니다. GPU나 복잡한 프레임워크 없이, 순수 CPU만으로 동일한 결과를 산출하는 과정을 보여줍니다.
메모리 부족을 이기는 네 가지 전략
이 프로젝트의 핵심은 모델이 메모리에 들어가지 않을 때 어떻게 처리하느냐입니다. 먼저 전문가(Expert) 계층은 4비트 양자화 상태로 디스크에서 직접 읽어 곱셈을 수행해 메모리 점유를 최소화합니다. 다음으로 KDA(Linear Attention)와 MLA(Multi-head Latent Attention)를 사용해 메모리가 무한정 커지지 않도록 제어합니다. 또한 93개층의 트렁크(Trunk)를 스트리밍 방식으로 읽어 필요한 부분만 메모리에 올리고, 나머지 1.45TB의 라우팅된 전문가들은 LRU 캐시로 관리합니다. 이 네 가지 결정 덕분에 8GB에서 224GB까지 다양한 메모리 환경에서 동일한 바이트 수준의 출력을 보장합니다.
설치와 실행 절차
시작하기 전 약 1.7TB의 저장 공간이 필요합니다. 1.56TB의 체크포인트와 109GB의 패킹된 트렁크 파일을 저장해야 하기 때문입니다. 리눅스 x86-64가 기준이며, macOS와 Windows도 지원됩니다. 컴파일러는 GCC 9 이상 또는 Clang 10 이상, 그리고 OpenMP가 필요합니다. make -j로 빌드하고 make test로 테스트를 통과시키면 모델 다운로드 없이도 엔진의 정확성을 검증할 수 있습니다. 실제 추론을 위해서는 HuggingFace 토큰을 사용해 모델을 다운로드하고, pack-trunk.sh 스크립트로 트렁크를 패킹한 뒤 k3 바이너리를 실행합니다.
성능과 메모리 사용량
메모리 용량이 클수록 속도가 빨라지지만 결과는 동일합니다. 8GB 램의 일반 노트북에서는 토큰당 약 26.5초가 걸리며, 모델이 디스크에서 스트리밍됩니다. 32GB에서는 24.2초, 64GB에서는 19.8초로 단축됩니다. 128GB 이상의 워크스테이션에서는 모델이 완전히 메모리에 올라와 디스크 대기 시간이 사라지며 토큰당 5.6초까지 빨라집니다. ultra 프리셋은 8GB급 기기를 위한 최소 구성으로, 정밀도와 라우팅은 유지하되 속도는 느립니다. server 프리셋은 93개층 중 90개를 고정하여 가장 빠른 성능을 제공합니다.
이 엔진을 선택해야 하는 경우
GPU가 없거나 클라우드 비용이 부담스러운 환경에서 대규모 모델을 실험하고 싶다면 이 저장소가 적합합니다. 특히 C99로 작성되어 있어 의존성이 거의 없고, 176KB 크기의 엔진 바이너리로 가볍게 배포할 수 있습니다. 다만 1.56TB의 모델 파일을 다운로드하고 저장할 수 있는 충분한 디스크 공간이 전제되어야 합니다. 또한 CPU의 AVX2 또는 NEON 명령어 세트 지원 여부와, 빠른 NVMe 드라이브가 있는지 확인하는 것이 좋습니다. 느린 저장 장치는 스트리밍 단계에서 병목이 될 수 있으므로, 가능한 한 빠른 로컬 디스크에 트렁크 파일을 배치해야 합니다.
