소비자용 하드웨어에서 초대형 언어 모델 추론과 미세 조정을 가능하게 하는 연구 프로젝트
데이터센터급 GPU 없이도 수십억 개 매개변수를 가진 모델을 실행하고 학습할 수 있는 환경을 구축합니다. CPU와 GPU를 함께 활용하여 모델의 일부는 메모리에, 일부는 그래픽 카드에 배치하는 이질적 컴퓨팅 방식을 적용합니다. 이를 통해 제한된 하드웨어 자원으로도 복잡한 AI 작업을 처리할 수 있게 됩니다.
최근 업데이트와 연구 성과
최근 KTransformers-FineTune(KT-FT) 사전 인쇄본이 공개되어 MoE 모델 미세 조정을 위한 CPU-GPU 공동 계산의 레이아웃 인식 및 스케줄 최적화 기법을 제시했습니다. 2026년 8월에는 LlamaFactory와 통합된 MoE 미세 조정 쿡북이 추가되어 하드웨어 점검부터 문제 해결까지의 과정을 안내합니다.
추론과 미세 조정의 두 가지 축
이 저장소는 kt-kernel 소스 트리에서 추론(Inference)과 SFT(미세 조정) 두 가지 기능을 제공합니다. 추론 기능은 Intel AMX와 AVX512/AVX2를 활용한 CPU 최적화 커널을 통해 INT4/INT8 양자화 추론을 수행하며, NUMA 인식 메모리 관리를 적용합니다. 미세 조정 기능은 LlamaFactory와 통합되어 DeepSeek-V3/R1 같은 초대형 MoE 모델을 제한된 GPU 메모리로 학습할 수 있게 합니다. 특히 ZeRO-Offload 대비 벤치마크된 MoE SFT 워크로드에서 6~12배의 학습 속도 향상을 보여줍니다.
성능과 하드웨어 구성
추론 성능 예시로 DeepSeek-R1-0528(FP8) 모델을 8개의 L20 GPU와 Xeon Gold 6454S CPU 조합에서 총 227.85 tokens/s, 출력 87.58 tokens/s(8-way 동시성)를 기록했습니다. 미세 조정에서는 DeepSeek-V3와 R1 모델을 4개의 RTX 4090으로 약 80GB의 총 GPU 메모리를 사용하여 초당 3.7회 반복(it/s) 속도로 학습할 수 있습니다. Qwen3-30B-A3B 모델은 단일 RTX 4090으로 약 24GB 메모리를 사용해 초당 8회 이상 반복 속도를 달성합니다. CPU 메모리 사용량은 이전 KT SFT 경로 대비 벤치마크 설정에서 약 절반 수준으로 줄었습니다.
설치와 시작하기
추론 기능을 사용하려면 kt-kernel 디렉토리로 이동하여 pip install . 명령을 실행합니다. 미세 조정을 위해선 LLaMA-Factory를 설치한 후 ktransformers[sft]==0.7.0과 sglang-kt==0.7.0 패키지를 설치해야 합니다. 이후 accelerate launch 명령을 통해 FSDP2 KT INT8 구성 파일을 지정하여 학습을 시작할 수 있습니다. Python이 주 언어로 사용되며, SGLang과의 통합을 통해 프로덕션 서빙 환경에도 적용할 수 있습니다.
적용 대상과 확인 사항
이 도구는 고비용 GPU 인프라 없이도 대규모 MoE 모델을 실험하거나 학습하려는 연구자와 개발자에게 적합합니다. 특히 CPU와 GPU를 혼합하여 사용하는 이질적 컴퓨팅 환경에 익숙한 사용자에게 유리합니다. 또한 특정 모델(DeepSeek, Kimi, GLM 등)에 대한 지원 범위와 양자화 포맷(INT4/INT8/FP8)이 자신의 워크로드와 일치하는지 점검하는 것이 중요합니다.
