AI 에이전트 응답 속도를 빛의 속도로 끌어올리는 추론 엔진
AI 에이전트가 요청을 보내면 즉시 응답을 받아야 하는 상황에서, 지연 시간을 최소화하는 추론 엔진을 직접 운영할 수 있습니다. TokenSpeed는 제어 로직과 실행 로직을 분리해 안정성과 개발 속도를 동시에 잡은 오픈소스 프로젝트입니다. NVIDIA와 AMD의 하드웨어 지원을 받으며, PyTorch 생태계에 공식적으로 합류했습니다.
제어와 실행을 나누는 구조
TokenSpeed는 기존 엔진과 달리 제어 평면과 실행 평면을 명확히 구분합니다. 요청의 생명주기와 메모리 관리 같은 핵심 로직은 C++로 작성된 유한 상태 기계로 처리하며, 컴파일 시점에 타입 시스템으로 자원 재사용의 안전성을 보장합니다. 반면 실제 모델 실행은 Python으로 이루어져 연구자와 엔지니어가 빠르게 코드를 수정하고 테스트할 수 있습니다. 이러한 설계는 핵심 스케줄링의 정확성을 유지하면서 상위 계층의 개발 효율을 높이는 것을 목표로 합니다.
가변적인 커널 시스템
커널은 엔진의 일부가 아니라 독립된 모듈로 취급됩니다. 공개된 API와 중앙 집중식 레지스트리를 통해 다양한 가속기에 맞는 커널을 플러그인처럼 교체할 수 있습니다. 특히 Blackwell 아키텍처에서 에이전트 워크로드에 최적화된 MLA(멀티헤드 잠재적 어텐션) 구현을 포함하고 있어, 최신 하드웨어에서 높은 성능을 기대할 수 있습니다.
최근 업데이트와 성능 지표
2026년 10월 기준, NVIDIA GB300에서 Qwen3.8-Flash-Next 모델을 서빙할 때 사용자당 685 토큰/초의 성능을 기록했습니다. 또한 AMD Instinct MI355X GPU에서 Kimi K3 추론을 지원하는 등 하드웨어 범용성을 넓혀가고 있습니다.
중립적인 거버넌스
TokenSpeed는 비영리 재단인 LightSeek Foundation이 후원하며, 특정 상업 기업에 종속되지 않는 중립적인 입장을 유지합니다. 이를 '오픈소스 LLM 추론 엔진의 스위스'라고 표현하기도 합니다. NVIDIA와 AMD 등 주요 하드웨어 벤더가 엔지니어링 지원을 제공하지만, 프로젝트의 방향성은 재단이 결정합니다.
도입 전 확인 사항
이 엔진은 특히 에이전트 워크로드, 즉 짧은 응답이 반복적으로 오가는 환경에서 강점을 보입니다. TensorRT-LLM 수준의 성능과 vLLM 수준의 사용성을 동시에 원한다면 적합합니다. PyTorch 생태계와의 호환성은 보장되지만, 기존 vLLM 또는 TensorRT-LLM 환경에서 바로 이식할 때 파라미터 차이로 인한 조정이 필요할 수 있습니다.