에이전트가 쓰는 모든 모델을 한 곳에서 돌리는 오픈소스 엔진
에이전트가 검색, 문서 변환, 안전성 검사, 번역 등 다양한 작업을 수행할 때 필요한 모델을 각각 다른 서버에 올리는 대신, 하나의 클러스터에서 모두 처리할 수 있게 됩니다. SIE는 에이전트 작업에 필요한 100개 이상의 오픈소스 모델을 하나의 API로 묶어 제공하는 추론 엔진입니다. 모델은 요청이 들어올 때만 메모리에 로드되고, 사용되지 않으면 자동으로 제거되어 리소스를 효율적으로 관리합니다.
에이전트 작업별 모델 구성
SIE는 에이전트가 수행하는 구체적인 작업 유형별로 모델을 분류하여 제공합니다. 검색과 재랭킹에는 bge-m3, SPLADE, ColBERT, Qwen3-reranker 등이 포함되며, PDF나 Office 문서를 마크다운으로 변환하는 작업에는 LightOnOCR, GLM-OCR, MinerU, PaddleOCR-VL, Docling이 쓰입니다. 구조화된 데이터 추출에는 GLiNER2, GLiForm, Qwen3 계열 모델이, 텍스트 분류에는 GLiClass 계열이, 콘텐츠 안전성 판단에는 Qwen3Guard, Granite Guardian, OPIR 모델이 각각 담당합니다. 또한 Qwen3 계열 LLM을 통해 에이전트 루프 실행, 400개 이상 언어 번역, 이미지 이해, 음성 인식 등 보조 작업도 지원합니다.
OpenAI 호환 API와 통합 생태계
기존 OpenAI API를 사용하던 코드에서 SIE로 전환할 때 /v1/embeddings, /v1/chat/completions 등 엔드포인트를 그대로 사용할 수 있어 마이그레이션 부담이 적습니다. LangChain, LlamaIndex, Haystack, DSPy, CrewAI 등 주요 에이전트 프레임워크와 Chroma, Qdrant, Weaviate, LanceDB 등 벡터 데이터베이스와의 통합 가이드를 제공합니다. MCP(Mode Context Protocol) 클라이언트에서 문서, 이미지, 구조화 출력을 SIE 클러스터로 오프로드하여 에이전트 토큰 비용을 줄이는 방식도 지원합니다.
로컬 실행부터 프로덕션 배포까지
개발 단계에서는 Python 3.12 환경에서 pip install "sie-server[local]" 후 sie-server serve 명령으로 노트북에서 바로 실행할 수 있습니다. NVIDIA GPU 환경에서는 Docker 이미지를 통해 CUDA 12 기반 서버를 띄우며, 모델 의존성 충돌을 방지하기 위해 기본, Transformers 5, SGLang 비전 추출 등 용도별 이미지를 분리해 제공합니다. 프로덕션 환경에서는 Kubernetes와 Helm 차트를 통해 로드 밸런싱 게이트웨이, KEDA 기반 자동 확장(제로 스케일링 포함), Grafana 대시보드를 함께 배포할 수 있습니다. Alibaba Cloud ACK, AWS EKS, Azure AKS, GCP GKE를 위한 Terraform 모듈도 별도로 유지 관리됩니다.
모델 로드 방식과 성능 특성
모델은 첫 호출 시 가중치를 다운로드하고 메모리에 로드되며, 이후 호출에서는 다운로드를 건너뜁니다. 여러 모델을 동시에 서빙할 때 LRU(Least Recently Used) 정책을 적용해 오래된 모델을 메모리에서 내보냅니다. 추론 지연 시간은 모델 종류, 작업 유형, 하드웨어 사양, 배치 크기에 따라 달라집니다. 타입 지정된 의사 결정 모델인 Laya와 GLiNER2.5-Decide는 여러 질문을 한 번의 포워드 패스로 처리하며, 질문 간 확률 의존성을 반영합니다. Laya 계열은 제공된 온도 값으로 확률을 보정하지만, Laya-multilingual은 보정 없이 원시 softmax 확률을 반환합니다.
배포 전 확인 사항
SIE는 Apache 2.0 라이선스로 공개되어 있어 상업적 사용이 가능합니다. 로컬 실행에는 Python 3.12가 필요하며, GPU 추론은 NVIDIA CUDA 12 환경이 요구됩니다. Apple Silicon Mac에서는 MLX를 통한 생성 모델 실행이 지원되지만, 일부 비전 OCR 모델은 Linux GPU 환경의 특정 Docker 이미지에서만 사용할 수 있습니다. SIE는 버전, OS, 아키텍처, GPU 유형 등 익명 사용 데이터를 수집하지만 IP 주소나 요청 데이터는 수집하지 않으며, SIE_TELEMETRY_DISABLED=1 환경 변수로 수집을 비활성화할 수 있습니다.
