대규모 언어 모델 추론과 서빙을 위한 오픈소스 엔진
서버에 요청이 몰려도 응답 속도가 유지되고, 메모리 낭비 없이 더 많은 모델을 동시에 돌릴 수 있는 장면을 상상해 보세요. vLLM은 대규모 언어 모델의 추론과 서빙을 담당하는 오픈소스 라이브러리입니다. Hugging Face의 다양한 모델을 복잡한 하드웨어 설정 없이 바로 실행할 수 있게 해 줍니다.
메모리 관리와 처리량 최적화
vLLM은 PagedAttention 기술을 통해 주의력 키와 값 메모리를 효율적으로 배분합니다. 운영체제가 가상 메모리를 관리하듯 메모리 낭비를 줄여 더 많은 요청을 처리할 수 있습니다. 들어오는 요청을 계속 배치로 묶어 처리하는 연속 배치와, 이미 계산한 프롬프트 앞부분을 재사용하는 접두어 캐싱도 지원합니다. 이러한 기능들이 결합되어 높은 처리량을 만들어 냅니다.
하드웨어와 모델 아키텍처 지원 범위
NVIDIA와 AMD GPU, Intel GPU, 그리고 x86, ARM, PowerPC CPU까지 폭넓은 하드웨어를 지원합니다. Google TPU, Intel Gaudi, Apple Silicon 등 다양한 하드웨어 플러그인도 사용할 수 있습니다. 모델 측면에서는 Llama, Qwen, DeepSeek-V3, GPT-OSS 등 200개 이상의 Hugging Face 모델 아키텍처를 지원합니다. 디코더 전용 모델부터 혼합 전문가 모델, 멀티모달 모델, 임베딩 모델까지 폭넓게 다루며, FP8, INT8, GPTQ, AWQ 등 다양한 양자화 방식도 적용할 수 있습니다.
실무에 바로 쓰는 API와 기능
OpenAI 호환 API 서버를 제공하여 기존 OpenAI 클라이언트 코드를 거의 수정하지 않고 전환할 수 있습니다. Anthropic Messages API와 gRPC도 지원합니다. 스트리밍 출력, 구조화된 출력 생성, 도구 호출 파싱 등 실제 서비스에서 필요한 기능들을 내장하고 있습니다. 텐서, 파이프라인, 데이터, 전문가, 컨텍스트 병렬화를 통해 분산 추론을 수행할 수 있으며, 여러 LoRA 어댑터를 동시에 효율적으로 처리할 수 있습니다.
설치와 시작하기
설치는 uv 또는 pip를 통해 간단하게 진행합니다. uv pip install vllm 명령으로 설치한 뒤, vllm download-kernels을 실행하면 사전 컴파일된 커널을 받아 시작 시간을 단축할 수 있습니다. 개발 목적이라면 소스에서 빌드하는 것도 가능합니다. 공식 문서 사이트 vllm.ai에서 설치 가이드와 빠른 시작 튜토리얼을 확인할 수 있습니다.
사용 전 확인해야 할 사항
vLLM은 UC Berkeley Sky Computing Lab에서 시작되어 2000명 이상의 기여자가 참여하는 활발한 오픈소스 프로젝트입니다. 연구 목적으로 사용할 경우 PagedAttention 관련 논문을 인용해야 합니다. 기술적 질문이나 기능 요청은 GitHub Issues를, 사용자 간 논의는 vLLM 포럼을, 기여 조정과 개발 관련 사항은 Slack을 이용합니다. 보안 취약점 보고는 GitHub의 Security Advisories 기능을 통해 진행합니다.
