LLM 成本优化:先做审计,再谈缓存和路由
大多数 LLM 成本优化的文章从“怎么省 token”开始,但 2026 年一份被反复引用的企业实践指出,最先该做的恰恰是“哪些调用根本不该存在”。一个企业部署的内部审查发现,400 个 custom-GPT Agent 中约 350 个大概率已经死亡或无人使用,但仍在运行真实的 LLM 调用,输出没有任何人读。优化这些调用的单价,不如先把它们关掉。
审计之后,比较稳健的顺序是:缓存、路由、压缩、批处理、量化。prompt caching 的杠杆最大,Anthropic 对缓存前缀的读取定价是基础输入 token 的 0.1 倍,意味着缓存命中部分节省约 90%。但缓存的前提是提示词结构稳定,动态内容放在缓存前缀里乱动,命中率就上不去。一个值得注意的纵向案例研究显示,在编码 Agent 场景中,prompt caching 达到 99.3% 命中率时,API 实际成本被压到每百万 token 0.57 美元,甚至低于共享 on-premise 切片 2.83 美元的摊销单位成本。这个数字的意义不在于“API 比自建便宜”是普遍结论,而在于缓存命中率对成本结构的改变可以大到颠覆直觉。
模型路由和分级是第二个杠杆,典型节省幅度在 30%—60%,但代价是路由误判风险。一个常见错误是只按 token 长度路由:短请求不等于简单请求,一个短问题可能涉及合同条款解读,路由到便宜模型只会把成本转移到人工复核和错误修复上。更稳的分层是先按任务类型和风险等级定路由规则,再用置信度决定是否升级。
批处理适合非紧急的异步负载,OpenAI 和 Anthropic 的 Batch API 都提供约 50% 的折扣。量化适合自托管且有规模效应的场景,但要按任务评估精度损失。把这几项叠在一起,有实践给出的实现周期是 4 到 8 周。成本优化不是一次性的“换个便宜模型”,而是一套需要持续监控命中率、升级率和单位任务成本的运营动作。
- 点赞
- 收藏
- 关注作者
评论(0)