집 컴퓨터를 사설 AI 서버로 바꾸는 올인원 설치 도구
터미널에 한 줄만 입력하면 채팅, 음성, 이미지 생성까지 가능한 AI 서버가 내 컴퓨터에서 바로 작동합니다. ODS는 로컬 AI를 돌리려면 필요한 여러 소프트웨어를 자동으로 설치하고 연결해 주는 배포 시스템입니다. 클라우드 없이 내 컴퓨터 안에서 모든 데이터와 처리가 이루어지도록 설계되었습니다.
V3 공개 테스트 단계의 현황
현재 ODS는 공식 V3 출시를 앞두고 공개 테스트와 개선 작업을 진행 중입니다. 고정된 소스 스냅샷 v3.0.0을 사용할 수 있으며, 재현성을 위해 태그나 감사된 커밋을 고정하는 것이 권장됩니다. 9월 업데이트는 개발용 main 브랜치를 따르며, 이는 새로운 안정 버전이 아니므로 주의가 필요합니다.
하나의 스택으로 묶인 AI 기능들
ODS는 모델 추론부터 음성 처리, 워크플로 자동화까지 필요한 서비스를 미리 연결해 제공합니다.
- 채팅과 추론 Open WebUI를 통해 대화 기록과 웹 검색, 문서 업로드를 지원합니다. llama-server가 GPU에 맞는 모델을 자동으로 선택해 추론을 처리합니다.
- 음성과 에이전트 Whisper와 Kokoro로 음성 인식과 합성을 처리합니다. Portal과 Hermes 같은 에이전트가 도구를 호출하고 작업을 수행하며, n8n으로 워크플로를 자동화합니다.
- 지식 검색과 생성 Qdrant 벡터 데이터베이스와 SearXNG로 로컬 문서 검색과 웹 검색을 수행합니다. ComfyUI를 이용해 로컬에서 이미지를 생성합니다.
하드웨어에 맞는 모델 자동 선택
설치 프로그램은 GPU와 메모리를 감지해 가장 적합한 모델을 자동으로 선택합니다. NVIDIA, AMD Strix Halo, Apple Silicon, Intel Arc 등 다양한 하드웨어에 대한 티어별 모델 매핑이 제공됩니다. 예를 들어 24GB VRAM의 NVIDIA 카드는 Qwen3.5 27B 모델을, 64GB 통합 메모리의 AMD 시스템은 Qwen3.6 35B-A3B 모델을 기본으로 선택합니다. 부트스트랩 모드를 사용하면 작은 모델을 먼저 내려받아 2분 안에 채팅을 시작할 수 있으며, 전체 모델은 백그라운드에서 다운로드됩니다.
설치 전 확인 사항과 한계
Linux와 macOS에서는 Docker가 설치되어 실행 중이어야 하며, Windows는 WSL2와 Docker Desktop이 필요합니다. Windows 설치 시 40GB 이상의 디스크 공간과 하드웨어 가상화 활성화가 요구됩니다. NVIDIA GPU를 사용하는 Windows 사용자는 드라이버를 570 버전 이상으로 업데이트해야 합니다. 기존 네이티브 Windows 설치 환경은 자동으로 마이그레이션되지 않으므로 전환 전 주의가 필요합니다.
