3천 원으로 2시간 만에 언어 모델을 직접 만들어 보는 경험
고가의 GPU 클러스터 없이도 내 손으로 언어 모델을 처음부터 끝까지 훈련해 볼 수 있습니다. 이 저장소는 6400만 개 파라미터 규모의 초소형 언어 모델 MiniMind를 만드는 전 과정을 공개한 튜토리얼이자 코드베이스입니다. 복잡한 추상화 계층을 걷어내고 핵심 알고리즘을 직접 구현하는 과정을 따라가며, 모델이 어떻게 학습하는지 그 원리를 체득할 수 있습니다.
minimind-3 버전의 새로운 시작
최근 발표된 minimind-3 버전은 구조와 토크나이저, 훈련 파이프라인을 전면 개편했습니다. Qwen3 생태계와 구조를 정렬하여 Dense 모델은 64M, MoE 모델은 198M-A64M 규모로 재설계되었습니다. 기존에 독립적으로 존재하던 추론 스크립트는 제거되고, 사고 능력은 채팅 템플릿과 open_thinking 스위치로 통합 관리됩니다. 또한 도구 호출(Tool Call) 데이터가 기본 SFT 데이터에 혼합되어, 별도의 미세 조정 없이도 기본 도구 사용 능력을 갖추게 되었습니다.
추상화 없는 순수 PyTorch 구현
이 프로젝트의 가장 큰 특징은 transformers나 trl 같은 고수준 라이브러리의 편의 기능을 배제하고, PyTorch 원시 API로 모든 핵심 알고리즘을 직접 구현했다는 점입니다. 토크나이저 훈련부터 사전 학습, SFT, LoRA, 그리고 PPO나 GRPO 같은 강화 학습 알고리즘까지 모든 코드가 0부터 작성되었습니다. 이는 학습자가 모델 내부의 매개변수 흐름과 최적화 과정을 코드 수준에서 정확히 이해할 수 있게 해줍니다. 또한 llama.cpp, vllm, ollama 등 주요 추론 엔진과의 호환성을 유지하여, 학습한 모델을 실제 환경에서 쉽게 배포할 수 있습니다.
개인 GPU로 완주 가능한 훈련 비용
MoE 모델의 경우 약 3.23시간, 4.2위안 정도가 듭니다. 이러한 비용 구조는 개인 개발자나 학생이 실험실 환경이 아닌 일반 클라우드 GPU를 통해 모델 훈련의 전 과정을 경험할 수 있는 장벽을 크게 낮춥니다. 단, 이 수치는 미니 데이터셋 기준이며, 전체 데이터셋을 사용하거나 더 큰 모델을 훈련할 경우 비용과 시간은 비례하여 증가합니다.
실행 전 확인해야 할 환경과 제약
데이터셋은 ./dataset 폴더에 직접 다운로드하여 배치해야 하며, 미니 버전과 전체 버전 중 목적에 맞는 파일을 선택하는 것이 중요합니다. 특히 토크나이저는 6,400개의 작은 어휘를 사용하므로, 이를 재훈련하면 기존 모델 가중치와의 호환성이 깨질 수 있어 주의가 필요합니다. 또한 2025년 4월 이후 버전은 이전 minimind-v1 시리즈 모델의 직접 로딩을 지원하지 않으므로, 최신 구조에 맞는 가중치를 사용해야 합니다.
