把成本控制做进网关,而不是做进业务代码
如果成本控制逻辑散落在各个业务方,它就一定会失控。正确的位置是网关——因为那里是所有流量的必经之处。
统一的价格目录是核算基准
每个业务方自己维护一份价格表,半年后必然对不上账。网关作为唯一入口维护一份全站价格目录,核算才有可信基准。
如果每个业务方自己维护一份价格表,半年后一定会有对不上的地方。
网关作为唯一入口,维护一份全站价格目录,成本核算就有了一个可信的基准。
重试策略是网关的责任
「哪些错误可重试」「最多试几次」「要不要退避」这些判断如果交给业务方,每个实现都会不一样,而且都会偏乐观。网关统一做,才有一致的行为。
所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。
在网关层做这件事,比让每个业务方自己判断要靠谱得多。
会话亲和直接影响缓存命中
缓存命中与否是 token 成本最大的变量。网关保证会话尽量固定到同一渠道,比让业务方在应用层想办法更有效。
所以渠道选择上要尽量保证同一会话落到同一渠道,否则缓存根本命中不了。
这也解释了会话亲和为什么不是「优化项」而是「省钱项」。
订单快照保证账目不漂移
价格、额度、并发、有效期在创建订单时快照,之后套餐调整不影响既有订单。成本核算的前提是账目本身稳定。
正确做法是下单那一刻把套餐内容(价格、每日额度、并发数、有效期)快照进订单。
之后套餐怎么改,都不影响这张已经存在的订单。
实操:带指数退避的重试封装,只对真正可重试的错误重试。
把重试交给网关之后,业务代码里这几行就可以删掉了。
import random, time
from openai import OpenAI, APIStatusError
client = OpenAI(api_key=API_KEY, base_url="https://aiminis.info/v1")
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_retry(fn, attempts=3):
for i in range(attempts):
try:
return fn()
except APIStatusError as e:
if e.status_code not in RETRYABLE or i == attempts - 1:
raise
time.sleep((2 ** i) + random.random())
# 4xx(参数错、额度不足、模型不存在)不该重试,换渠道也一样失败。
几个容易踩的坑
- 把最贵的模型当成「质量最好」,却没算重试带来的放大效应。
- 每个业务方各自维护一份价格表,半年后对不上账。
- 会话被路由到不同渠道,prompt cache 一直不命中。
- 包月套餐到期后又重新买了一把新 Key,所有客户端配置都要改一遍。
小结
把可观测性做在前面,后面所有的优化才有依据。
文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。
- 点赞
- 收藏
- 关注作者
评论(0)