不加 GPU,先把请求路由对:缓存感知调度把中位首 token 砍了 95%
今天这篇写推理服务的“调度层”,和前几天模型侧优化不重样。
不加 GPU,先把请求路由对:缓存感知调度把中位首 token 砍了 95%
导语:11 月 4 日 Buoyant 发布开源项目 Kinference,并在 vLLM 官方博客同步介绍,作为 Kubernetes 上跑 vLLM 的推理控制面。它真正提醒工程师的是:分布式推理里“哪个 GPU 接这个请求”本身就决定一半延迟,而这一层过去几乎没人当平台来设计。
核心要点
- 同样的模型、同一批 GPU,只把默认 K8s 负载均衡换成缓存感知路由,官方公开基准里中位首 token 延迟(TTFT)降 95%、中位端到端延迟降 45%。
- 原理很朴素:多轮对话和 Agent 循环里请求共享大段前缀,路由到已缓存该前缀的 worker,prefill 直接省掉;路由错了就得从头重算整个上下文。
- 所以“把简单请求导给便宜模型”这类省钱策略常反噬——为了换模型而换 GPU,等于把缓存全丢掉,重算成本可能高于省下的单价。
- 只有负载均衡不够,还需要策略层:按租户、模型类别、GPU 池水位、提示词语义分类决定路由或拒绝,必要时溢出到第三方推理服务。
正文要点
它到底是什么。 不是推理引擎,而是控制面:OpenAI 与 Anthropic 兼容的流量统一从它的端点进来,由它做 token 限流、租户用量与成本归属、调度和策略。设计出发点很平台化——GPU 是稀缺资源,客户端各有 SLO,比如聊天要求首 token 2.5 秒内、Agent 要求输出速率 100 毫秒/token 内、批处理端到端 120 秒内、编码工具 50 毫秒/token 内。控制面负责在有限的卡上同时满足这些互相竞争的需求。
缓存感知调度怎么算。 调度信号包含三项:GPU 队列长度、历史性能、以及 GPU 上 KV 缓存的实际内容。目标是把请求发给“为这个请求做最少功”的那个 worker——同一个前缀已经算过,prefill 的算力就省了,延迟和吞吐同时改善。反过来理解更直观:性能直接换算成容量,同一批卡跑得更快,就能塞下更多推理。
省钱的陷阱。 把简单 prompt 送去便宜模型,纸面上很划算,实际常常更贵:切模型通常意味着切 GPU,而多轮对话的缓存绑在那张卡上,一换就得把整段对话重算一遍。合理做法是把“缓存命中”纳入策略判断——只有当便宜模型的总工作量确实更小才切,否则原地不动反而更省。
面向 Agent 的可运维性。 指标层给出输入/输出 token 速率与长度分布、TTFT、ITL、端到端延迟直方图、缓存命中与未命中的 prompt token(用于成本估算)、各模型用量与 GPU 饱和度,且几乎全部可按租户切分。配置本身也按“Agent 写、人来审”设计:提供只做 YAML 校验、不必投集群的 CLI,CRD 带完整状态字段,让 Agent 能自己判断策略是否生效。
落地建议与坑点
- 先量你的前缀复用率。多轮对话、Agent 工具循环、共享系统提示词才吃得到这波收益;一次性批处理任务收益有限,别拿 95% 直接做容量规划。
- 别为“更便宜的模型”牺牲缓存局部性。算账时把重算整段上下文的成本算进去,而不是只比单 token 价格。
- 策略要当代码管。能 lint、能评审、能独立回滚,比塞在网关里的 if-else 安全得多。
- 看清基准条件:95% 是中位数、来自厂商自己的公开基准、对比默认 K8s 负载均衡、且只在一种工作负载类型上成立。换到你的流量结构,收益可能明显缩水。
- 点赞
- 收藏
- 关注作者
评论(0)