FlashML-org/FreeToken

개인용 MoE 모델 서빙 엔진

게이밍 PC에서 대규모 MoE 모델을 로컬로 실행한다. GPU, CPU, 호스트 메모리를 통합 자원처럼 처리해 빠른 속도로 추론을 수행한다.

별: 13,700
기여자: 8
포크: 1,400
최근 30일 가운데 트렌딩에 오른 날: 2일
표시: 관찰 — 기여자 1명당 별 1,712. 공개 지표로 붙이는 자동 표시로, 500을 넘으면 관찰, 2,000을 넘으면 과열 의심이다(품질 판단과는 별개).