맥북에서 로컬 LLM을 실용적인 코딩 도구로 바꾸는 방법
메뉴 바 아이콘 하나를 클릭해 서버를 켜고, 평소 쓰는 코딩 에이전트가 로컬 모델과 자연스럽게 대화하는 장면을 상상해 보세요. oMLX는 애플 실리콘 맥에서 LLM 추론을 처리하는 서버로, 메모리와 SSD를 활용해 캐시를 관리합니다. 덕분에 맥북 한 대에서 여러 모델을 동시에 돌리거나, 긴 대화 맥락을 유지하면서 코드를 작성하는 일이 가능해집니다.
메모리와 SSD를 잇는 캐시 전략
oMLX의 핵심은 KV 캐시를 두 단계로 나누어 관리하는 것입니다. 자주 쓰는 데이터는 빠른 RAM에 두고, 용량이 부족하면 SSD로 내려보냅니다. 대화 도중 컨텍스트가 바뀌어도 이전 내용은 캐시에 남아 있어 다시 계산하지 않아도 됩니다. 서버를 껐다 켜도 SSD에 저장된 캐시는 유지되어, 로컬 LLM을 실제 코딩 작업에 쓰기 좋은 환경을 만듭니다.
메뉴 바에서 시작하는 관리
터미널 명령어를 외우지 않아도 됩니다. 네이티브 Swift 앱으로 만든 메뉴 바 아이콘에서 서버를 시작하거나 멈추고, 모델 상태를 확인할 수 있습니다. 앱은 크래시 시 자동으로 재시작되며, 사용량 히트맵과 모델별 통계도 제공합니다. 원하면 omlx start 같은 CLI 명령으로 백그라운드 서비스처럼 실행할 수도 있습니다.
코딩 도구와의 연결
OpenAI와 Anthropic API 호환 엔드포인트를 제공해, 기존 클라이언트를 그대로 연결할 수 있습니다. Claude Code와 같은 도구와 함께 쓸 때 모델의 실제 컨텍스트 윈도우를 보고 자동으로 압축하며, 긴 프리필링 동안 연결이 끊기지 않도록 유지합니다. 관리 대시보드에서 OpenClaw, Codex, Copilot 등 다양한 도구를 한 번에 설정할 수 있어 수동 편집이 필요 없습니다.
설치 전 확인 사항
macOS 15.0(Sequoia) 이상과 Apple Silicon(M1~M5), Python 3.11~3.13이 필요합니다. GLM-5.2나 MiniMax M3 같은 특정 모델을 빠르게 돌리려면 커스텀 커널 빌드가 필수인데, 이때는 Xcode 전체 설치가 요구됩니다. 네트워크에 노출할 경우 반드시 API 키를 설정해야 하며, 루프백 주소가 아닌 경우 키 없이 서버를 시작하지 못하도록 막혀 있습니다. Apache 2.0 라이선스로 배포되며, 실험적인 멀티 맥 분산 추론 기능은 소스 빌드에서만 사용할 수 있습니다.
