vllm-project/vllm

vLLM 是目前最主流的开源大模型推理与服务引擎，可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳，让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理，能把 KV cache 像操作系统管理内存一样切块复用，避免显存浪费，同时支持投机解码、量化（FP8、INT4、GPTQ 等）和多种并行策略。它提供 OpenAI 兼容的 API 服务，兼容 Hugging Face 上 200+ 模型架构，覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型，硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是：你想把一个开源模型部署成可对外提供服务的接口，或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师，或需要自建 LLM 服务的团队，这是绕不开的选型；纯做模型训练或只调用闭源 API 的人关系不大。

Star 趋势

话题标签

仓库信息