트렌드깃허브 · 쇼핑에서 뜬 것, 매일 07:30 · English

깃허브 · 2026년 11월 15일 기준 · 깃허브에서 보기 →

ashhart/TensorFold

내 컴퓨터에서 언어 모델을 돌리는 엔진

최근 30일 가운데 2일 트렌딩

파이썬 없이 맥과 엔비디아 GPU에서 언어 모델을 직접 실행하는 방법

터미널에 명령어 두 줄만 입력하면, 내 컴퓨터의 칩이 언어 모델을 이해하고 답을 내뱉는 장면을 바로 볼 수 있습니다. TensorFold는 모델 가중치를 읽고 토큰을 생성하는 과정을 단일 바이너리로 처리하는 엔진입니다. 별도의 런타임 설치 없이 로컬에서 AI 서비스를 띄우는 경험을 제공합니다.

단일 바이너리로 끝나는 설치

이 엔진은 Zig 언어로 작성되어 Python이나 MLX 같은 추가 라이브러리 없이 동작합니다. Apple Silicon 맥에서는 Homebrew로, Linux에서는 릴리스 아카이브를 받아 실행 파일을 바로 사용할 수 있습니다. NVIDIA GPU를 사용하는 경우 glibc 2.28 이상과 R580 이상의 드라이버가 필요합니다. 서버를 시작하면 OpenAI 호환 API를 제공하여 기존 클라이언트와 쉽게 연결됩니다.

모델 선택과 하드웨어 범위

지원되는 모델은 Qwen, Nemotron, GLM, Gemma 등 다양한 계열을 포함합니다. 각 모델은 특정 하드웨어에서 검증된 범위가 명시되어 있어, 자신의 기기에 맞는 체크포인트를 고를 수 있습니다. 예를 들어 Qwen3.5-2B는 M5 Max 맥이나 GB10에서 확인되었고, 더 큰 모델은 여러 기기를 조합해야 할 수 있습니다. tensorfold info 명령으로 체크포인트의 최소 메모리 요구량을 미리 확인할 수 있습니다.

실험적 기능: Living Weights

실행 중인 모델에 새로운 사실을 직접 학습시키는 실험적 기능이 있습니다. --slide 옵션을 켜면 모델이 새로운 정보를 받아들이며, 이 과정은 3D 뷰에서 뉴런의 변화를 실시간으로 관찰할 수 있습니다. 학습된 사실은 체크포인트 파일에 기록되며, 필요 시 롤백 명령으로 이전 상태로 되돌릴 수 있습니다. 이 기능은 Apple Silicon 맥과 NVIDIA GB10에서 지원되며, 학습된 모델 폴더는 다른 기기에서도 사용할 수 있습니다.

정확한 디코딩과 병렬 처리

모든 응답은 동일한 설정에서 실행될 때 동일한 결과를 보장하도록 설계되었습니다. 병렬 요청을 처리할 때 각 스트림이 단독 실행과 동일한 출력을 내는지 검증합니다. --parallel 옵션으로 동시 처리할 수 있는 요청 수를 제한할 수 있으며, 메모리 허용 범위 내에서 최대 8개 스트림까지 자동으로 조정됩니다. 이는 로컬 환경에서도 안정적이고 재현 가능한 추론을 가능하게 합니다.

사용 전 확인 사항

이 도구는 특정 하드웨어 조합에서만 검증된 모델을 제공합니다. 또한 일부 모델은 변환 과정이 필요하거나, 특정 드라이버 버전 이상에서만 동작합니다. 기업용 배포를 원한다면 별도 저장소에 있는 Starlight를 참고해야 하며, 이는 현재 초기 단계입니다.

AI가 이 저장소의 README를 읽고 2026년 11월 12일에 쓴 글입니다. 사실관계는 깃허브 원문이 기준입니다.

숫자로 본 저장소

깃허브 트렌딩 기록
트렌드가 기록을 시작한 2026년 6월 19일 ~ 11월 15일 가운데 2일 · 처음 오른 날 11월 12일 · 일간 최고 7위(11월 12일)

2026년 11월 15일 기준으로 깃허브에서 읽은 숫자입니다.

언어
Zig
주제 태그
ai · ai-tools · llm · llm-inference · llm-tools
별
2,249
기여자
138
포크
521
최근 릴리스
v1.2.9 · 2026년 11월 15일
커밋
8,336
마지막 커밋
2026년 11월 15일
열린 이슈
228
열린 PR
385

함께 보면 좋은 저장소

깃허브에서 보기 → · 홈페이지

README에 달기

trend.ondo.sh · 깃허브 일간 트렌딩 7위 · 2026년 11월 12일 trend.ondo.sh · GitHub daily trending #7 · November 12, 2026

위 배지는 이 저장소가 2026년 6월 19일 이후 깃허브 일간 트렌딩에서 가장 높이 오른 순위와 그날을 보여 줍니다. README의 언어에 맞는 줄을 붙여 넣으세요. 배지를 누르면 이 페이지가 열리고, 저장소가 더 높이 오르면 배지도 저절로 바뀝니다.

한국어 README

[![trend.ondo.sh](https://trend.ondo.sh/github/r/ashhart--TensorFold/badge.svg)](https://trend.ondo.sh/github/r/ashhart--TensorFold/)

영어 README

[![trend.ondo.sh](https://trend.ondo.sh/github/r/ashhart--TensorFold/badge.en.svg)](https://trend.ondo.sh/github/r/ashhart--TensorFold/en.html)