맥에서 Qwen 3.8을 로컬에서 빠르게 실행하는 방법
코딩 에이전트를 돌리거나 긴 문서를 처리할 때, 클라우드 API를 기다리지 않고 내 맥북에서 즉시 응답을 받을 수 있습니다. MTPLX는 애플 실리콘에서 로컬 언어 모델을 실행하는 도구로, 모델이 스스로 여러 토큰을 미리 예측하는 MTP(멀티 토큰 예측) 기술을 활용해 속도를 높입니다. OpenAI와 Anthropic API를 그대로 지원하므로, 기존에 쓰던 코딩 도구나 채팅 앱을 그대로 연결해 사용할 수 있습니다.
MTP로 두 배 빠른 추론
MTPLX는 모델이 다음 토큰 하나만 예측하는 일반 방식과 달리, 여러 토큰을 한 번에 미리 작성하고 검증하는 방식을 사용합니다. 이 과정에서 모델의 원래 온도 설정을 그대로 유지하며, 거부 샘플링과 잔차 보정을 통해 결과가 정확하도록 보장합니다. M5 Max 맥에서 Qwen 3.8 Flash Next를 실행할 때 초당 125.8 토큰의 속도를 기록했으며, 일반 디코딩보다 약 2배 빠른 성능을 냅니다. 별도의 드래프트 모델이 메모리를 차지하지 않아, 같은 하드웨어에서 더 큰 모델을 실행할 수 있습니다.
하드웨어에 맞는 모델 자동 추천
앱을 설치하면 하드웨어 사양을 검사해 내 맥에 맞는 모델을 자동으로 추천합니다. 16GB 메모리의 맥에서는 Ternary Bonsai 2 27B를, 32GB 이상에서는 Qwen 3.8 27B를, 256GB 이상에서는 Qwen 3.8 Flash Next를 우선 제안합니다. 각 모델은 속도 최적화, 품질 최적화, 기본 속도 등 세 가지 패키지로 제공되며, M1과 M2 칩은 FP16 정밀도 버전을 자동으로 선택합니다. 모델 다운로드와 Python 엔진 설정, 팬 제어 설치까지 앱이 자동으로 처리하므로 별도 설정이 필요 없습니다.
기존 도구와 바로 연결되는 서버
MTPLX는 로컬에서 OpenAI와 Anthropic 호환 API 서버를 실행합니다. Claude Code, Cursor, OpenCode, Cline 등 API를 지원하는 도구라면 http://127.0.0.1:8000 주소를 지정하기만 하면 됩니다. 채팅, 도구 호출, 스트리밍 응답을 지원하며, 세션 캐시를 통해 재시작 후에도 이전 대화 상태를 빠르게 복원합니다. 임베딩과 리랭킹 모델도 같은 서버에서 함께 실행할 수 있어, RAG 시스템에 별도의 추론 서버를 두지 않아도 됩니다.
내 맥에 맞는 최적 깊이 찾기
MTP의 성능은 칩 종류와 메모리 대역폭, 발열 상태에 따라 달라집니다. MTPLX는 mtplx tune 명령으로 내 맥에서 각 깊이의 실제 속도를 측정해 가장 빠른 값을 저장합니다. 16GB M4 Mac mini에서 9B 모델을 튜닝했을 때, 기본 14.4 tok/s에서 깊이 1로 설정해 23.0 tok/s까지 올린 사례가 있습니다. 앱의 대시보드에서는 실시간 토큰 속도, 수락률, 캐시 상태를 확인할 수 있어 어떤 설정이 효과적인지 바로 알 수 있습니다.
사용 전 확인 사항
애플 실리콘(M1 이상)과 macOS 14 이상이 필요합니다. 16GB 메모리의 맥에서는 8,192 토큰 컨텍스트 윈도우를 사용할 수 있으며, 에이전트 클라이언트를 함께 돌리려면 18GB 이상의 메모리가 권장됩니다. Qwen 3.8 Flash Next는 96GB 이상 메모리가 필요하며, 256GB 이상일 때 최적의 성능을 냅니다. Forge 기능을 통해 Hugging Face 모델을 MTP 모델로 변환할 수 있지만, 기존 MLX 트렁크에 외부 MTP 헤드를 임의로 붙이는 것은 지원하지 않습니다. 모델의 정밀도와 속도 트레이드오프를 이해하고, 자신의 작업에 맞는 패키지를 선택해야 합니다.