lyogavin/airllm

저용량 GPU용 LLM 추론 도구

양자화나 증류 없이 70B 규모의 언어 모델을 4GB GPU에서 추론하게 한다. 작은 VRAM 환경에서 거대 모델의 추론과 학습을 수행한다.

별: 34,800
7일 동안 늘어난 별: +300
기여자: 10
포크: 3,700
최근 30일 가운데 트렌딩에 오른 날: 4일
표시: 과열 의심 — 기여자 1명당 별 3,480. 공개 지표로 붙이는 자동 표시로, 500을 넘으면 관찰, 2,000을 넘으면 과열 의심이다(품질 판단과는 별개).