缓存命中率的两个杠杆:会话亲和与提示词结构

举报
Rolle 发表于 2026/11/15 17:58:41 2026/11/15
【摘要】 缓存不命中的时候,你在为重复的上下文付全价。两个杠杆能改善它:一个是网关侧的会话亲和,一个是应用侧的提示词结构。

缓存不命中的时候,你在为重复的上下文付全价。两个杠杆能改善它:一个是网关侧的会话亲和,一个是应用侧的提示词结构。

亲和是前提条件

会话在账号之间来回跳,缓存根本命中不了。所以先保证亲和,再优化提示词,顺序不能反。

所以渠道选择上要尽量保证同一会话落到同一渠道,否则缓存根本命中不了。

这也解释了会话亲和为什么不是「优化项」而是「省钱项」。

会话标识要稳定地传

用 session-id 这类请求头,或者在请求体里带 prompt_cache_key。标识要稳定,不要每次随机生成。

网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。

这里有个必须守住的原则:绑定了分组的 Key,一旦分组被停用或为空,就是拒绝请求,不回退到公开池。

提示词结构:固定在前,可变在后

把不变的上下文(系统提示、few-shot 示例、工具定义)放在前面,可变的部分放在后面。缓存通常按前缀匹配,前缀越稳定命中率越高。

如果你的应用每次都把一大段固定上下文送上去,prompt cache 命中与否会造成巨大的 token 差异。

工具定义也是缓存的一部分

工具声明每次都要送上去。如果工具列表在两次请求间发生了变化,前缀就断了,缓存全部失效。工具定义应该做成版本化的。

很多客户端在定义自定义工具时不会写 object.properties,直接把参数声明成一个字符串。

网关在转换时应该把这类工具补齐成合法的 JSON Schema,并明确 strict = false。

实操:Python 官方 SDK 接入。

带上 prompt_cache_key,对比多轮请求里的 token 用量差异。

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["GATEWAY_API_KEY"],       # 别写进代码
    base_url="https://aiminis.info/v1",           # 只写前缀,不要拼完整路径
)

resp = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[{"role": "user", "content": "解释一下什么是 API 网关"}],
)
print(resp.choices[0].message.content)

几个容易踩的坑

  • 把最贵的模型当成「质量最好」,却没算重试带来的放大效应。
  • 每个业务方各自维护一份价格表,半年后对不上账。
  • 会话被路由到不同渠道,prompt cache 一直不命中。
  • 包月套餐到期后又重新买了一把新 Key,所有客户端配置都要改一遍。

小结

把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。

上面提到的能力基本都来自 https://aiminis.info/ 这个自建的 API 网关,支持 OpenAI 与 Anthropic 双协议接入,还有公开的模型健康看板 https://aiminis.info/model-health 可以先看看状态。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。