모델이 아니라 시스템으로 인공지능을 이해하고 설계하는 능력
벤치마크 점수만 좋은 모델이 실제 메모리에 들어가고, 지연 시간을 지키며, 전력 한계 안에서 안전하게 작동하는지 확인해 봅니다. 이 저장소는 기계 학습 시스템의 기초 원리와 확장 방법, 그리고 자율 에이전트와 물리적 AI까지 다루는 오픈 교과서 시리즈입니다. 독자는 하드웨어 제약이 아키텍처를 어떻게 결정하는지 숫자로 계산하고, 직접 코드를 작성하며, 시뮬레이터로 대규모 클러스터를 모델링하는 경험을 하게 됩니다.
제약 조건이 아키텍처를 결정한다
이 교과서의 핵심 아이디어는 '제약 조건이 아키텍처를 결정한다'는 것입니다. 256KB 메모리의 마이크로컨트롤러든 데이터센터의 가속기든, 메모리 대역폭, 네트워크 지연, 에너지, 실패율이 시스템 설계를 지배합니다. 저자는 구글에서 TinyML을 연구하며 이 사실을 깨달았고, 이를 모든 권에 걸쳐 일관되게 적용했습니다. 프레임워크나 칩이 바뀌어도 변하지 않는 물리적 법칙에 기반하여, 독자는 특정 도구에 얽매이지 않는 시스템 사고력을 기를 수 있습니다. 이는 소프트웨어 엔지니어링과 컴퓨터 엔지니어링과 함께 'AI 엔지니어링'이라는 새로운 학문 분야를 정립하려는 시도이기도 합니다.
네 권으로 확장되는 시스템의 경계
교과서는 시스템의 범위가 넓어질수록 실패의 비용이 높아진다는 관점에서 네 권으로 구성됩니다. 1권은 단일 머신에서 모델이 효율적으로 실행되는 방식을 다루며, MIT Press에서 인쇄판 출간을 앞두고 있습니다. 2권은 수천 개의 가속기가 연결된 분산 클러스터와 데이터센터 스케일링을 다룹니다. 3권은 자율적으로 행동하는 에이전트 시스템의 거버넌스를, 4권은 물리적 세계와 상호작용하는 Physical AI를 다룹니다. 3권과 4권은 현재 초안 단계로, 내용이 자주 변경되므로 인용이나 수업 자료로 사용하기보다는 피드백을 제공하는 용도로 접근하는 것이 좋습니다. 각 권은 이전 권이 남긴 질문을 이어가며, 단일 머신에서부터 물리적 행동까지 시스템의 경계를 넓혀 갑니다.
읽기만으로는 부족합니다: 실습 도구 세트
이 저장소는 텍스트북만 있는 것이 아니라, 개념을 구체화하는 실습 도구들이 함께 제공됩니다.
- TinyTorch 기계 학습 프레임워크를 처음부터 직접 구축하는 20단계 모듈식 프로젝트입니다.
- MLSys·im 대규모 클러스터의 메모리와 에너지 한계를 시뮬레이션하여 교과서의 계산을 뒷받침하는 도구입니다.
- Hardware Kits 실제 임베디드 디바이스에 모델을 배포하여 물리적 제약 조건을 경험하게 하는 키트입니다.
- StaffML 클라우드, 엣지, 모바일, TinyML 분야의 시스템 설계 면접 질문과 연습 문제를 제공합니다.
실전 검증된 학습 경로
이 자료는 2023년 하버드 CS249r 수업 노트에서 시작되어 매 학기 재작성되며 발전해 왔습니다. UC Berkeley, Columbia, Georgia Tech 등 여러 대학에서 채택되어 사용되고 있으며, 16,000회 이상의 커밋을 통해 공개적으로 수정되어 왔습니다. 모든 수치는 Python 코드로 계산되며, MLSys·im 기반의 테스트 스위트가 단위 일관성과 인용을 검증합니다. 산업계의 엔지니어들이 장문을 검토하여 실제 시스템에 부합하는지 확인하는 과정을 거치므로, 이론과 실무의 괴리를 줄였습니다. 독자는 Python 프로그래밍과 기본적인 기계 학습 개념만 갖추고 있으면, 컴퓨터 아키텍처나 분산 시스템 배경지식 없이도 학습을 시작할 수 있습니다.
사용 전 확인 사항
특히 StaffML의 경우 배포된 서비스의 수정 사항을 공개해야 하는 강한 Copyleft 라이선스가 적용되므로, 기업 환경에서 도입할 경우 라이선스 조건을 신중히 검토해야 합니다. 또한 모든 수치는 특정 하드웨어 사양에 기반하므로, 자신의 시스템에 적용할 때는 MLSys·im을 통해 직접 계산을 재현해 보는 것이 좋습니다.
