실패한 실험까지 기록하며 대형 언어 모델을 만드는 오픈소스 연구 플랫폼
데이터 정제부터 모델 학습, 평가까지 대형 언어 모델 개발의 모든 과정을 투명하게 기록하고 재현할 수 있는 환경을 제공합니다. Marin은 단순한 코드가 아니라, 연구 과정의 지식과 실험 결과까지 공유하는 커뮤니티와 소프트웨어 플랫폼입니다. 이를 통해 독자도 복잡한 모델 학습 파이프라인을 직접 구성하고 실험 결과를 검증해 볼 수 있습니다.
실패한 실험까지 남기는 오픈 개발
Marin은 원시 데이터에서 최종 모델까지의 모든 단계를 기록하며, 실패한 실험도 그 기록의 일부로 남깁니다. 모델 아티팩트나 인프라뿐 아니라, 모델을 구축하는 데 필요한 과정 지식까지 공개하는 것이 핵심 가치입니다. 현재 Marin은 과학자와 연구자에게 중요한 과제를 해결하기 위해 대규모 혼합 전문가(Mixture-of-Experts) 모델의 사전 학습과 사후 학습에 집중하고 있습니다.
Delphi: 스케일링 법칙과 재현 가능한 파이프라인
Marin은 Pythia에서 영감을 받은 오픈 스케일링 스위트인 Delphi를 제공합니다. Delphi는 3e18에서 1e23 FLOPs 범위의 LLM 레시피를 확장하며, 계산 예산을 모델 구성으로 매핑하는 스케일링 레시피, Google TPU Research Cloud에서 훈련된 스케일링 스위트, 그리고 작은 Delphi 모델로 큰 모델을 예측하는 스케일링 법칙으로 구성됩니다. 모든 실행의 체크포인트는 Hugging Face에서 제공되며, 공개된 Nemotron-CC, StarCoderData, ProofPile 2 데이터셋에서 결정적으로 재현 가능한 학습 혼합 파이프라인도 함께 공개되었습니다. 또한 CompletedAdamHParams 클래스로 된 레시피 코드와 add_scaling_heuristic 에이전트 스킬로 된 개발 방법론, 그리고 Delphi 도표용 플롯 준비 데이터까지 모두 저장소에 포함되어 있습니다.
Makefile처럼 실험을 정의하는 실행 구조
Marin의 실험은 서로 의존할 수 있는 단계들의 집합으로 정의되며, Makefile처럼 위상 순서로 실행됩니다. 예를 들어 TinyStories 데이터셋으로 작은 모델을 훈련하는 스크립트에서는 먼저 데이터셋을 토큰화하는 단계와 그 결과를 받아 모델을 훈련하는 단계를 정의합니다. 훈련 단계는 토큰화 단계에 의존하므로, 토큰화가 완료된 후에만 실행됩니다. 이 구조는 작은 모델 훈련부터 시작해 더 큰 데이터셋 혼합이나 대규모 GPU/TPU 팟으로 확장하는 데 유연하게 적용됩니다. fray.cluster, levanter.optim 등 관련 라이브러리와 함께 StepRunner를 사용해 실험을 실행합니다.
기타 학습 성과와 모델 사례
Marin은 오디오-텍스트 모델, DNA, 단백질 모델 구축에도 사용되었습니다. marin/experiments 라이브러리를 통해 이러한 작업을 장려합니다. 이전에 Marin을 사용해 8B 매개변수 모델을 훈련했으며, 이는 기본 모델 벤치마크 스위트에서 Llama 3.1 8B보다 우수한 성능을 보였습니다. 또한 Marin 32B 모델도 훈련되었습니다. Open Athena 블로그에서는 이질적 클러스터 간 작업 스케줄링(Iris), 사전 학습 효율성 향상, 작은 모델로 큰 모델을 300배까지 외삽하는 스케일링 법칙, 그리고 32B-A5B 규모에서 검증된 MoE 전문가 부하 균형 등 추가적인 통합 학습 내용을 제공합니다.
사용 전 확인 사항과 기여 방법
Marin은 Python으로 작성되며, ReadTheDocs 또는 docs/ 폴더에서 문서를 확인할 수 있습니다. 시작하려면 Marin을 설치하고, 작은 언어 모델을 훈련하는 예제를 따라 하며, DCLM 1B/1x 실험을 실행하는 방법을 살펴보는 것이 좋습니다. 커뮤니티와 소통하기 위해 Marin Discord에 참여할 수도 있습니다. 기여자는 CONTRIBUTING.md에서 프로젝트 워크플로우를 확인하고, .agents/skills/ 또는 .claude/skills/에서 로드 가능한 에이전트 스킬을 사용할 수 있습니다. 예를 들어 .agents/skills/add-dataset/에는 새 데이터셋을 추가하는 단계별 가이드가 있습니다. Marin의 핵심 협력자는 Stanford CRFM과 Open Athena 출신이며, 연구는 Jen-Hsun and Lori Huang Foundation 등 파트너들의 지원으로 이루어집니다.
