내 컴퓨터 사양에 맞춰 가장 빠르게 실행되는 로컬 모델 추론 엔진
모델을 다운로드하는 순간 내 하드웨어에 가장 잘 맞는 계산 방식을 자동으로 찾아 적용합니다. 덕분에 같은 모델이라도 기존 도구보다 빠르게 실행됩니다. 이는 하드웨어에 맞춰 커널을 조정하는 오픈소스 추론 엔진입니다.
하드웨어에 맞춘 자동 최적화
기존 도구들은 모든 하드웨어에 동일한 커널을 적용하지만, Magnitude는 모델 다운로드 시 내 칩에서 직접 테스트를 수행합니다. 최대 1분 동안 GPU 스레드 수, 데이터 청크 크기, 사전 로드 거리 등 다양한 조합을 시도해 가장 빠른 방식을 선택합니다. 이 과정에서 모델의 출력 결과는 변하지 않으며, 단순히 계산 속도를 높이는 데 집중합니다. 이러한 자동 튜닝 덕분에 Mac과 NVIDIA 환경에서 Ollama 대비 평균 2배 이상의 속도를 달성했습니다.
에이전트 연결과 메모리 관리
Pi, OpenCode, Hermes, Codex 등 기존에 사용하던 에이전트와 한 번의 클릭으로 연결됩니다.
- 내장 드래프트 모델 각 모델에 가장 빠른 추측적 디코딩 드래프터를 함께 제공하여 응답 속도를 높입니다.
- 완전한 프라이버시 프롬프트, 파일, 모델이 모두 내 머신에 머물며 모델 다운로드 후 인터넷 연결 없이도 작동합니다.
설치와 서버 배포
macOS, Linux, Windows에서 데스크톱 앱과 CLI를 제공합니다.
- 지원 플랫폼 Apple Silicon, NVIDIA, AMD, Intel GPU 또는 CPU만 있는 환경에서도 작동합니다.
- 운영체제 macOS, Linux, Windows를 지원하며, Linux는 x64와 ARM64 아키텍처를 모두 제공합니다.
적용 전 확인 사항
이 도구는 인기 있는 오픈 웨이트 모델 계열에 대해 최적화된 커널을 직접 작성하여 성능을 확보합니다. 따라서 지원 모델 목록은 magnitude.dev/models에서 확인해야 하며, 모든 모델이 동일한 수준의 최적화를 받지는 않습니다. 하드웨어에 고정된 최소 사양은 없으나, 더 큰 모델을 실행하려면 더 많은 메모리가 필요합니다. Apache 2.0 라이선스로 배포되며, 토큰 비용이 들지 않고 데이터가 외부로 나가지 않는 점을 중시하는 사용자에게 적합합니다.
