클라우드 없이 내 PC에서 최신 AI 모델을 실행하고 훈련하는 방법
외부 서버에 의존하지 않고 내 컴퓨터에서 Qwen3.8이나 DeepSeek-V4 같은 모델을 직접 돌리고, 필요하면 훈련까지 할 수 있습니다. Unsloth는 모델 실행과 학습을 위한 도구를 하나로 묶은 데스크톱 앱입니다. 코드를 몰라도 화면으로 조작할 수 있고, 코드를 쓰면 더 정밀하게 제어할 수 있습니다.
로컬 모델과 에이전트 연결
Unsloth는 Windows, macOS, Linux에서 동작하는 네이티브 데스크톱 앱입니다. 설치만 하면 모델 다운로드부터 실행, 훈련까지 한 화면에서 처리할 수 있습니다. 'Unsloth Start' 기능을 사용하면 Claude Code나 Codex 같은 에이전트 도구를 로컬 모델에 바로 연결할 수 있습니다. 예를 들어 unsloth start claude 명령 하나면 Claude Code가 내 컴퓨터의 Qwen3.8 모델을 사용하도록 설정됩니다. 외부 API 호출 없이 로컬에서 모든 처리가 이루어지므로 데이터 프라이버시를 중시하는 환경에 적합합니다.
지원 모델과 훈련 방식
텍스트 생성 모델(LLM)뿐 아니라 이미지 생성, 음성 합성, 임베딩 모델까지 지원합니다. Qwen3.8, Gemma 4, DeepSeek-V4, FLUX 등 다양한 모델을 다루며, GGUF, MLX, NVFP4, FP8 등 여러 형식도 지원합니다. 훈련 기능은 LoRA, QLoRA, 완전한 미세 조정, 강화 학습, GRPO, DPO 등 최신 기법을 포함합니다. README에 따르면 이 방식으로 훈련하면 속도가 2배 빨라지고 VRAM 사용량은 70%까지 줄이면서 정확도 손실 없이 모델을 학습시킬 수 있다고 합니다. PDF나 CSV 파일을 데이터셋으로 변환하는 'Data Recipes' 기능도 내장되어 있어 데이터 준비 과정도 단순화합니다.
설치와 시스템 요구 사항
가장 쉬운 방법은 각 운영체제에 맞는 데스크톱 앱을 다운로드하는 것입니다. Windows, macOS, Linux(Deb, AppImage, ARM64) 버전을 모두 제공합니다. 코드를 직접 다루고 싶다면 'Unsloth Core'를 설치할 수 있으며, Python 3.13 환경이 필요합니다. Linux와 WSL에서는 curl 명령으로, Windows에서는 PowerShell 스크립트로 설치할 수 있습니다. GPU 지원은 NVIDIA, AMD, Intel GPU 및 CPU, Vulkan 백엔드를 모두 커버합니다. Docker 이미지를 통해 컨테이너 환경에서도 실행 가능하며, AMD GPU를 사용한다면 unsloth/unsloth-rocm 이미지를 사용해야 합니다. 네트워크에 노출할 때는 --secure 옵션으로 Cloudflare HTTPS 링크를 생성하거나, LAN 접근을 설정할 수 있습니다.
라이선스와 보안 확인
Unsloth는 Apache 2.0과 AGPL-3.0의 이중 라이선스를 적용합니다. 핵심 코어 패키지는 Apache 2.0이지만, 웹 UI인 'Unsloth Studio'는 AGPL-3.0 라이선스를 따릅니다. 이는 상업적 사용 시 라이선스 조건을 반드시 확인해야 함을 의미합니다. 또한 서버 측 도구가 기본적으로 켜져 있으므로, 네트워크에 노출할 때는 관리자 비밀번호를 설정하거나 --disable-tools 옵션을 사용하여 보안을 강화해야 합니다. 무료 노트북을 통해 Kaggle 등에서 모델을 훈련해볼 수 있으므로, 실제 하드웨어에 설치하기 전에 이 기능을 먼저 테스트해보는 것을 권장합니다.
