게이밍 PC에서 290B급 프런티어 모델을 대화 속도로 실행하는 방법
데이터센터급 지능을 이미 가진 하드웨어에서 경험해 보세요. 거대한 오픈 웨이트 모델을 로컬에서 빠르게 돌리며 즉각적인 응답을 얻는 장면을 상상해 보십시오. FreeToken은 엣지 네이티브 MoE 서빙 엔진으로, 개인용 하드웨어에서 프런티어 스케일 모델을 실행하도록 설계되었습니다.
하드웨어 자원을 하나로 묶는 실행 방식
이 엔진은 GPU, CPU, 호스트 메모리, 인터커넥트를 하나의 탄력적 추론 플랫폼으로 취급합니다. 대역폭에 적응하는 CPU-GPU 공동 실행 정책과 전체 레이어 이중 버퍼링 프리필 스트리밍을 적용합니다. 전역 LRU 전문가 캐싱과 그래프 호환 실행, FTW 고속 가중치 포맷을 통해 효율성을 높입니다. 이러한 구조 덕분에 소비자용 하드웨어에서도 높은 처리 속도를 유지합니다.
반복 계산 없이 컨텍스트를 관리하는 기술
의미 인식 캐싱 기능을 통해 반복 상태와 KV 캐시에 의미 앵커 체크포인트를 설정합니다. 에이전틱 컨텍스트 편집, 예를 들어 도구 호출이나 사고 블록이 발생해도 불필요한 컨텍스트 재계산을 피합니다. 런타임 동안 전문가 캐시와 KV 메모리 사이의 VRAM을 동적으로 재할당할 수 있습니다. 엔진 재시작이나 가중치 재로딩 없이 메모리를 유연하게 조정합니다.
지원 모델과 하드웨어 범위
DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2 등 프런티어 오픈 웨이트 MoE 모델을 지원합니다. MXFP4, NVFP4, FP8, BF16 등 다양한 양자화 포맷을 처리합니다. Anthropic과 OpenAI 호환 API를 제공하여 Codex, Claude Code, OpenCode, OpenClaw, DeepSeek Harness 같은 실제 코딩 및 도구 호출 에이전트와 쉽게 통합됩니다. NVIDIA RTX 30, 40, 50 시리즈 GPU를 네이티브로 지원하며 소비자용 노트북, 게이밍 데스크톱, 워크스테이션 GPU까지 확장됩니다.
설치와 시작 방법
Windows나 Linux용 데스크톱 앱을 flashml.ai에서 다운로드하면 엔진 설정과 GUI가 자동으로 준비됩니다. 모델 실행, 채팅, 엔진 튜닝을 그래픽 인터페이스로 수행할 수 있습니다. CLI를 선호한다면 uv 또는 pip로 설치합니다. uv pip install "freetoken[accel]" 명령을 실행하면 됩니다. 소스에서 빌드하려면 저장소를 클론한 후 가상 환경을 설정하고 uv pip install -e ".[accel]"을 실행합니다.
사용 전 확인 사항
이 도구는 NVIDIA RTX 30, 40, 50 시리즈 GPU를 네이티브로 지원합니다. 다른 GPU 아키텍처에서의 호환성은 README에 명시되지 않았습니다. Apache License 2.0 라이선스를 따르며 연구 목적으로 사용할 경우 논문을 인용해야 합니다. mini-sglang, SGLang, vLLM, FlashInfer, flash-linear-attention, LightLLM, llama.cpp에서 디자인과 코드를 참고했음을 명시합니다. 특정 모델의 정확한 성능 수치는 하드웨어 구성에 따라 달라질 수 있으므로 실제 환경에서 테스트하는 것이 좋습니다.
