大模型推理服务工程化:KV Cache、PagedAttention 与连续批处理原理解析
大模型推理服务工程化:KV Cache、PagedAttention 与连续批处理原理解析
一、为什么推理成本成为大模型落地的瓶颈
大模型从"跑通 Demo"到"稳定服务业务",中间隔着一道工程化的鸿沟。训练往往是一次性投入,而推理是持续消耗:每一次用户提问、每一次 Agent 的工具调用,都要在 GPU 上重新计算一遍。很多团队在压测时发现,明明 70B 的模型单卡能跑起来,但并发一旦上去,吞吐量断崖式下跌,首字延迟(TTFT)从几百毫秒飙到十几秒,用户体验直接崩塌。
问题不出在模型本身,而出在推理服务的工程实现上。理解 KV Cache、PagedAttention 和连续批处理这三个机制,是做好推理成本优化的第一课。
二、KV Cache:显存占用的罪魁祸首
Transformer 自回归生成时,每生成一个 token 都要对"整段上下文"做注意力计算。如果每次都重算全部历史 token 的 Key/Value 投影,计算量会随序列长度平方增长。于是推理框架把每个 token 的 K、V 缓存下来,这就是 KV Cache。
但 KV Cache 是典型的空间换时间。以 7B 模型为例,FP16 精度下每个 token 的 KV Cache 大约需要 0.5MB 上下;上下文 4K、并发 32 路,仅缓存就要吃掉约 60GB 显存——比模型权重本身还大。传统实现要求为每个请求"预留一段连续显存",按最大可能长度预留,实际利用率却常常不足 30%,大量显存被碎片和浪费吞掉。
三、PagedAttention:把操作系统分页思想搬进显存
vLLM 的核心创新 PagedAttention,借鉴了操作系统虚拟内存的分页管理:把 KV Cache 切成固定大小的 Block(例如 16 个 token 一块),通过 Block Table 逻辑映射到物理显存块。这样做带来三个直接收益:
- 显存浪费趋近于零:按需分配,不再按最大长度预留,碎片率从 60%~80% 降到 4% 以下;
- 吞吐成倍提升:同样的显存能塞下更多并发请求,实测吞吐可达原生 HuggingFace 推理的数倍到二十倍以上;
- 前缀共享成为可能:多轮对话或同一 System Prompt 的多个请求,可以共享相同前缀的物理块,进一步省显存。
四、连续批处理:别让短请求等长请求
传统静态批处理把一批请求攒齐、一起算、一起结束:只要批里有一个 8K 长文本的请求,其他几十个 100 token 的短请求也得陪跑到最后,GPU 利用率极低。
连续批处理(Continuous Batching / In-flight Batching)改为每一步解码后动态调度:完成的请求立刻退出,新请求随时插入,批的组成在每一次迭代中动态变化。配合 PagedAttention 的显存按需分配,调度器可以大胆地维持高并发,而不用担心显存爆掉。两者组合起来,才是 vLLM 高吞吐的完整答案。
五、部署实践中的几个关键参数
以 vLLM 部署 Qwen 系列 7B 模型为例,几个必须理解的参数:
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B-Instruct \
--gpu-memory-utilization 0.90 \
--max-model-len 8192 \
--max-num-seqs 64 \
--enable-prefix-caching
gpu-memory-utilization:KV Cache 可用显存比例,压测时逐步上调,留出安全余量防 OOM;max-model-len:按业务真实需要的最大上下文设置,不要无脑开满,它是显存预留的上界;max-num-seqs:单卡最大并发序列数,配合网关侧限流使用;--enable-prefix-caching:多轮对话、固定 System Prompt 场景必开,命中前缀可显著降低 TTFT;- 精度选择:业务允许时用 AWQ/GPTQ 量化模型,权重显存可降一半以上,把省出的空间留给并发。
六、结语
推理优化不是玄学,而是一套可以拆解、可以度量的工程方法:先弄清楚 KV Cache 的显存账,再用 PagedAttention 解决分配浪费,用连续批处理解决调度空转,最后结合前缀缓存与量化,按业务画像逐项调参。建议每上线一个新模型,都用固定的压测脚本测一轮吞吐、TTFT 与显存水位三项指标,形成自己的基线数据。工程化的价值,就藏在这些可以复现的数字里。
参考资料:vLLM 官方文档(PagedAttention、Continuous Batching 章节)、Attention Is All You Need、Qwen 技术报告。文中数据为典型场景实测经验的量级参考,具体数值因模型与硬件而异。
- 点赞
- 收藏
- 关注作者
评论(0)