降本三个月只省下 6%:三个优化动作里两个在偷偷加钱
9 月账单 42036 元,降本目标砍掉三分之一。12 月账单 39417 元,降了 6.2%,同期请求量涨了 38%。单看这两个数还以为是省了,其实按单位成本算已经降了 41%,省下来的钱全被新增的量吃掉了。
更麻烦的是那 6.2% 里还掺着反向贡献。三个月里我们动了五个地方,其中三个动作,每一个都在持续把账单往上顶,只是当时没人把它们的钱认出来。这篇把这三个动作的账拆开,再说清最后真正有效的两处改动。
一、把用户问题挪到 system 前面,缓存命中率从 71% 掉到 9%
起因很平常。日志平台要按用户提问建索引,我们把用户问题拼到了 system prompt 的最前面,改完功能一切正常,月底对账才发现输入侧多出 6812 元。
- 前缀缓存认的是从第一个 token 开始的最长公共前缀,前面一插动态内容,后面那 2400 token 的规则说明就再也命中不了。
- 缓存写入的单价是普通输入的 1.25 倍,命中读取是普通输入的 0.1 倍。命中率 71% 的时候这笔钱几乎看不见,掉到 9% 之后每一轮都要重写一遍。
- 反直觉的点在于,命中率崩掉的时候账单会先小涨、再大涨。先涨是因为写入本来就贵,大涨是因为丢掉了那个 0.1 折。
- 修法是在网关侧给请求打业务标签,prompt 恢复原来的顺序。命中率回到 76%,输入费用当天就降下去了。
我们当时的监控只画了总 token 曲线,没有画命中率曲线,所以这个洞一直开着。后来补了一条规则,缓存命中率进日报,跌 5 个点就告警。
二、把生成模型降级到 7B,重试率涨到 23%,省的钱按 1.3 倍还回去
按单价算 7B 比原来的模型便宜将近 8 倍,这在表格里是稳赚的。上线一周后抽检 500 条线上请求,输出不符合 schema 的比例从 1.8% 涨到 23%。
- 一次重试要带全量上下文重新发一遍,等于这次请求的成本翻倍,而且新请求进不了缓存。
- 我们的统计口径只算成功请求消耗的 token,账单算的是全部请求消耗的 token,两个数字差了 3 倍多,站在报表前面的人一直没发现。
- 重试还带着放大效应。第一次失败是因为输出截断,重试时上下文更长,截断概率更高,一条请求能连败三次。
- 改成只让判定类请求走 7B,也就是意图分类、字段抽取这类输出只有几十个 token 的活,生成类保持原模型。混合之后整体单价降 34%,重试率回到 3%。
这里真正学到的不是"小模型不能用",而是降级必须按任务切,不能按流量比例切。按比例切等于把最难的那部分请求也交给了弱模型。
三、攒够 32 条再发,P95 从 3.4 秒拉到 11 秒,重复请求占 19%
批量合并推理是教科书式的省钱手段,我们设的规则是攒满 32 条或等 200 毫秒就发。上线后单次推理的平均成本确实降了,但总账单只降 2%。
- 前端请求超时是 8 秒。队列里一个慢请求就能把后面整批顺延,P95 从 3.4 秒变成 11 秒。
- 超时之后用户会再点一次。服务端没做幂等,这些重试全部落成新请求,账单里 19% 的调用是重复的。
- 最难查的地方在于两边日志都对。服务端记录全部成功,前端监控记录 8% 失败,两个事实同时成立。
- 改成按租户分组批量,上限 8 条,等待 120 毫秒,客户端加幂等键。重复率降到 1% 以下,P95 回到 3.9 秒。
批量优化的收益来自把空隙填满,代价是尾部延迟。当尾部延迟超过上游超时阈值,省下的钱会被重复请求加倍吐回去,这个临界点在我们这里是 P95 6 秒左右。
四、真正拉下账单的两处改动
上面三条加起来是负收益。剩下两处改动各自只动了几行配置,却贡献了全部的单位成本下降。
- 规则说明、few-shot 示例、输出 schema 三段固定内容共 4300 token 全部前置,网关按模板做前缀对齐,让不同请求复用同一段缓存。命中率从 76% 提到 94%,输入成本降了约一半。
- 按任务分级分流。意图判定走 7B,槽位抽取走中等模型,只有面向用户的自然语言生成走大模型。分流后大模型调用只占 12% 的请求,但覆盖了 68% 的输出 token。
- 给 max_tokens 设上限。原来设 2048,实际平均输出 340 token,但有 7% 的请求会一路写到上限,这 7% 贡献了 41% 的输出成本。改成按任务设 256 到 512 后,输出成本降了 38%,同时多了一条截断续写的兜底。
- 把 prompt 的长度也当成成本项管起来。规则说明从 2400 token 压到 1500 token,删掉的都是重复表述和历史遗留的寒暄,效果没有肉眼可见的变化。
两处改动的共同点是,它们都没有改变系统结构,也没有换模型,只是让数据的排布方式对齐了计费方式。
小结
成本优化最容易犯的错,是把"单价降了"当成"账单降了",把"成功请求变便宜"当成"总支出变便宜"。我们的前三个动作每一个在单价表上都漂亮,合起来却往账单里多塞了几千块。
验收口径只留一条,账单本身,而且要跟请求量一起看。单位成本下降但总量上涨的时候,账单是不会说话的。想确认某个动作到底有没有用,最省事的办法是给它单独打一个费用标签,跑满两周再看,不要相信上线当天的抽样。
- 点赞
- 收藏
- 关注作者
评论(0)