파이썬 없이 맥과 엔비디아 GPU에서 언어 모델을 직접 실행하는 방법
터미널에 명령어 두 줄만 입력하면, 내 컴퓨터의 칩이 언어 모델을 이해하고 답을 내뱉는 장면을 바로 볼 수 있습니다. TensorFold는 모델 가중치를 읽고 토큰을 생성하는 과정을 단일 바이너리로 처리하는 엔진입니다. 별도의 런타임 설치 없이 로컬에서 AI 서비스를 띄우는 경험을 제공합니다.
단일 바이너리로 끝나는 설치
이 엔진은 Zig 언어로 작성되어 Python이나 MLX 같은 추가 라이브러리 없이 동작합니다. Apple Silicon 맥에서는 Homebrew로, Linux에서는 릴리스 아카이브를 받아 실행 파일을 바로 사용할 수 있습니다. NVIDIA GPU를 사용하는 경우 glibc 2.28 이상과 R580 이상의 드라이버가 필요합니다. 서버를 시작하면 OpenAI 호환 API를 제공하여 기존 클라이언트와 쉽게 연결됩니다.
모델 선택과 하드웨어 범위
지원되는 모델은 Qwen, Nemotron, GLM, Gemma 등 다양한 계열을 포함합니다. 각 모델은 특정 하드웨어에서 검증된 범위가 명시되어 있어, 자신의 기기에 맞는 체크포인트를 고를 수 있습니다. 예를 들어 Qwen3.5-2B는 M5 Max 맥이나 GB10에서 확인되었고, 더 큰 모델은 여러 기기를 조합해야 할 수 있습니다. tensorfold info 명령으로 체크포인트의 최소 메모리 요구량을 미리 확인할 수 있습니다.
실험적 기능: Living Weights
실행 중인 모델에 새로운 사실을 직접 학습시키는 실험적 기능이 있습니다. --slide 옵션을 켜면 모델이 새로운 정보를 받아들이며, 이 과정은 3D 뷰에서 뉴런의 변화를 실시간으로 관찰할 수 있습니다. 학습된 사실은 체크포인트 파일에 기록되며, 필요 시 롤백 명령으로 이전 상태로 되돌릴 수 있습니다. 이 기능은 Apple Silicon 맥과 NVIDIA GB10에서 지원되며, 학습된 모델 폴더는 다른 기기에서도 사용할 수 있습니다.
정확한 디코딩과 병렬 처리
모든 응답은 동일한 설정에서 실행될 때 동일한 결과를 보장하도록 설계되었습니다. 병렬 요청을 처리할 때 각 스트림이 단독 실행과 동일한 출력을 내는지 검증합니다. --parallel 옵션으로 동시 처리할 수 있는 요청 수를 제한할 수 있으며, 메모리 허용 범위 내에서 최대 8개 스트림까지 자동으로 조정됩니다. 이는 로컬 환경에서도 안정적이고 재현 가능한 추론을 가능하게 합니다.
사용 전 확인 사항
이 도구는 특정 하드웨어 조합에서만 검증된 모델을 제공합니다. 또한 일부 모델은 변환 과정이 필요하거나, 특정 드라이버 버전 이상에서만 동작합니다. 기업용 배포를 원한다면 별도 저장소에 있는 Starlight를 참고해야 하며, 이는 현재 초기 단계입니다.