소수의 우수 모델에 집중해 소비자 하드웨어에서 대형 언어 모델을 실행하는 방법
128GB 램이 달린 맥북이나 DGX Spark에서 대형 언어 모델을 직접 돌리는 장면을 상상해 보세요. 이 도구는 특정 모델에 맞춰 최적화된 추론 엔진으로, 복잡한 설정 없이 모델을 실행하고 대화하거나 코딩 작업을 처리할 수 있게 합니다. 일반적이지 않은 하드웨어 조합에서도 모델을 안정적으로 구동하는 것이 목표입니다.
범용성이 아닌 특정 모델 최적화
이 프로젝트는 모든 모델을 지원하는 범용 도구가 아니라, DeepSeek V4 Flash와 PRO, GLM 5.2/5.3, Qwen3.8 Flash Next 등 소수의 우수 모델에 집중합니다. 프로젝트가 자체적으로 생성한 GGUF 파일만 사용해야 하며, 외부에서 임의로 변환한 파일을 지원하지 않습니다. 이러한 제한을 통해 특정 하드웨어 환경에서의 성능과 안정성을 극대화하는 것이 핵심 전략입니다. 모델 지원은 유연하게 유지되며, 더 나은 대안이 등장하면 기존 모델이 제거될 수도 있습니다.
하드웨어별 실행 방식과 성능
메탈(Metal) 기반의 Apple Silicon이 주된 타겟이며, 96GB 이상의 램을 가진 맥에서 최적의 성능을 발휘합니다. 램이 부족한 환경에서는 SSD 스트리밍을 통해 모델을 실행할 수 있습니다. NVIDIA CUDA 환경에서는 DGX Spark를 주요 목표로 삼았으며, 다른 백엔드에서 지원하지 않는 다중 GPU 시스템도 지원합니다. 예를 들어 Ada Lovelace 아키텍처의 L40S 카드를 8장 구성하여 16개 세션에서 초당 약 126 토큰의 생성 속도를 달성했습니다. 또한 ROCm 기반의 Strix Halo 시스템도 지원합니다.
코딩 에이전트와 서버 기능
내장된 ds4-agent는 별도의 HTTP 서버 없이 추론을 직접 수행하며, 토큰 히스토리와 모델 상태를 함께 관리합니다. 세션은 ~/.ds4/kvcache에 저장되어 나중에 재개할 수 있으며, 이미지 포함 세션은 아직 저장되지 않습니다. ds4-server를 사용하면 Pi, OpenCode, Codex CLI, Claude Code 등 다양한 클라이언트와 연동할 수 있습니다. 서버는 기본적으로 로컬호스트의 8000 포트에서 실행되며, 여러 세션을 동시에 처리할 수 있습니다.
사용 전 확인 사항
이 소프트웨어는 베타 품질로, 버전 업데이트 시 불안정성이나 회귀 문제가 발생할 수 있습니다. AI 코딩 에이전트의 도움을 받아 개발되었지만, 인간이 아이디어와 테스트를 주도했습니다. 또한 특정 모델의 양자화 형식과 메모리 크기가 자신의 환경과 맞는지 모델 가이드를 참고해야 합니다. 라이선스는 MIT를 따르며, llama.cpp와 GGML의 기여를 명시적으로 인정하고 있습니다.
