AI 에이전트가 요청마다 적합한 모델을 골라 비용과 성능을 조절하는 방법
복잡한 작업은 비싼 모델로, 단순한 작업은 저렴한 모델로 처리하며 전체 비용을 관리하고 싶다면 이 도구가 필요합니다. Switchyard는 AI 에이전트가 각 요청을 처리할 때 어떤 모델을 쓸지 결정하는 라우팅 엔진입니다. OpenAI와 Anthropic API 호환성을 유지하면서 모델 선택을 유연하게 조정할 수 있어, 성능과 비용의 균형을 직접 조절할 수 있습니다.
요청 흐름에 따라 모델이 바뀐다
Switchyard는 에이전트가 작업을 수행하는 동안 요청의 성격이나 최근 도구 사용 이력을 분석해 모델을 선택합니다. 초기에는 효율적인 모델을 사용하고, 작업이 복잡해지면 더 강력한 모델로 전환하는 식으로 동적으로 라우팅을 변경합니다. 이 과정에서 OpenAI나 Anthropic의 기존 API 규격은 그대로 유지되므로, 기존 애플리케이션 구조를 크게 바꾸지 않고 도입할 수 있습니다. 최종적으로 에이전트 전체의 성공률, 비용, 지연 시간을 단일 모델 사용 시나리오와 비교 평가할 수 있는 튜닝 루프도 제공합니다.
네 가지 라우팅 전략
사용 목적에 따라 네 가지 알고리즘 중 하나를 선택할 수 있습니다.
- Auto v0.3.0 기준의 고정 프리셋으로, 실행 단계 기반 라우팅과 효율 우선 선택을 기본으로 적용합니다.
- Task LLM 분류기를 활용해 현재 작업의 난이도에 따라 모델을 선택합니다.
- Execution 에이전트가 도구를 사용하는 과정에서의 신호를 실시간으로 분석해 모델을 조정합니다.
- Composite 분류기와 실행 신호를 조합하여 더 정밀한 모델 선택을 수행합니다.
도입 방식과 지원 범위
Switchyard는 Rust 코어인 libsy를 직접 임베드하거나, 기존 게이트웨이를 통해 사용할 수 있습니다.
- 게이트웨이 연동 OpenRouter, LiteLLM, NeMo Relay와 같은 기존 인프라에 플러그인 형태로 연결합니다.
- 직접 임베드 Rust 기반의 libsy를 자신의 서비스나 에이전트 하네스에 직접 포함시켜 라우팅 로직을 제어합니다.
- 로컬 평가 독립 서버를 이용해 특정 모델 풀에서의 라우팅 성능을 테스트하고 검증합니다.
버전 안정성과 주의할 점
현재 Switchyard는 1.0 이전 버전으로, 릴리스마다 API, 설정, 라우팅 동작이 변경될 수 있습니다. 따라서 통합 시 특정 버전을 고정(Pin)하는 것이 필수적입니다. 컴포넌트별 안정성도 다르며, switchyard-libsy는 Beta 단계이고 switchyard-llm-client와 switchyard-runner는 Alpha 단계입니다. switchyard-server는 데모와 로컬 평가 전용으로 프로덕션 환경에서는 지원하지 않습니다. Apache 2.0 라이선스로 공개되어 있으며, NVIDIA Corporation이 저작권을 보유하고 있습니다.
