vLLM

一、项目简介

vLLM 是加州大学伯克利分校开源的高性能 LLM 推理与服务引擎。其核心创新 PagedAttention 借鉴操作系统虚拟内存分页思想管理 KV Cache，大幅降低显存碎片，使吞吐量较传统方案提升 2–4 倍，是生产级部署的主流选择。

二、核心特性

• PagedAttention：分页管理注意力缓存，显存利用率极高；
• 连续批处理：请求动态进出批次，GPU 几乎不空转；
• 张量并行：多 GPU 拆分大模型，突破单卡显存限制；
• OpenAI 兼容：可直接替换现有接口；
• 量化支持：AWQ、GPTQ、FP8 等；
• 前缀缓存：相同系统提示复用计算结果，加速 RAG。

三、适用场景

• 线上对话 / 生成 API 服务（高并发）；
• 批量离线推理；
• RAG 系统的生成端部署。

四、快速上手

pip install vllm
python -m vllm.entrypoints.openai.api_server 
  --model Qwen/Qwen2.5-7B-Instruct --port 8000

之后即可用 OpenAI SDK 访问 http://localhost:8000/v1。

五、注意事项

• 主要面向 NVIDIA GPU，AMD / CPU 支持有限；
• 需关注 gpu_memory_utilization、max_model_len 等参数调优；
• 多卡部署需保证 NVLink 或高速互联以获最佳性能。