把成本控制做进网关,而不是做进业务代码

举报
Rolle 发表于 2026/11/15 17:58:12 2026/11/15
【摘要】 如果成本控制逻辑散落在各个业务方,它就一定会失控。正确的位置是网关——因为那里是所有流量的必经之处。

如果成本控制逻辑散落在各个业务方,它就一定会失控。正确的位置是网关——因为那里是所有流量的必经之处。

统一的价格目录是核算基准

每个业务方自己维护一份价格表,半年后必然对不上账。网关作为唯一入口维护一份全站价格目录,核算才有可信基准。

如果每个业务方自己维护一份价格表,半年后一定会有对不上的地方。

网关作为唯一入口,维护一份全站价格目录,成本核算就有了一个可信的基准。

重试策略是网关的责任

「哪些错误可重试」「最多试几次」「要不要退避」这些判断如果交给业务方,每个实现都会不一样,而且都会偏乐观。网关统一做,才有一致的行为。

所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。

在网关层做这件事,比让每个业务方自己判断要靠谱得多。

会话亲和直接影响缓存命中

缓存命中与否是 token 成本最大的变量。网关保证会话尽量固定到同一渠道,比让业务方在应用层想办法更有效。

所以渠道选择上要尽量保证同一会话落到同一渠道,否则缓存根本命中不了。

这也解释了会话亲和为什么不是「优化项」而是「省钱项」。

订单快照保证账目不漂移

价格、额度、并发、有效期在创建订单时快照,之后套餐调整不影响既有订单。成本核算的前提是账目本身稳定。

正确做法是下单那一刻把套餐内容(价格、每日额度、并发数、有效期)快照进订单。

之后套餐怎么改,都不影响这张已经存在的订单。

实操:带指数退避的重试封装,只对真正可重试的错误重试。

把重试交给网关之后,业务代码里这几行就可以删掉了。

import random, time
from openai import OpenAI, APIStatusError

client = OpenAI(api_key=API_KEY, base_url="https://aiminis.info/v1")
RETRYABLE = {429, 500, 502, 503, 504}

def call_with_retry(fn, attempts=3):
    for i in range(attempts):
        try:
            return fn()
        except APIStatusError as e:
            if e.status_code not in RETRYABLE or i == attempts - 1:
                raise
            time.sleep((2 ** i) + random.random())
    # 4xx(参数错、额度不足、模型不存在)不该重试,换渠道也一样失败。

几个容易踩的坑

  • 把最贵的模型当成「质量最好」,却没算重试带来的放大效应。
  • 每个业务方各自维护一份价格表,半年后对不上账。
  • 会话被路由到不同渠道,prompt cache 一直不命中。
  • 包月套餐到期后又重新买了一把新 Key,所有客户端配置都要改一遍。

小结

把可观测性做在前面,后面所有的优化才有依据。

文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。