vllm

주요 기능

• 고처리량 LLM 추론 및 서빙 지원
• 메모리 효율적인 모델 실행
• 다양한 LLM 모델 호환 (Llama, Qwen, DeepSeek 등)
• GPU(CUDA, AMD), TPU 등 다중 가속기 지원
• MoE(Mixture of Experts) 모델 최적화

왜 주목하나

OpenAI 호환 API를 제공하며 Llama, GPT, Qwen, DeepSeek-V3 등 주요 LLM들을 효율적으로 서빙할 수 있습니다. CUDA, AMD, TPU 등 다양한 하드웨어를 지원하면서 높은 처리량과 메모리 효율성을 동시에 달성합니다.

참고

vllm-project/vllm