大模型时代的 API 网关该长什么样

举报
Rolle 发表于 2026/11/15 18:24:59 2026/11/15
【摘要】 传统 API 网关处理的是「请求路由到服务」,而 AI 网关处理的是「请求路由到不确定的、有状态的、有成本的资源」。这个变化带来的设计差异比想象的大。

传统 API 网关处理的是「请求路由到服务」,而 AI 网关处理的是「请求路由到不确定的、有状态的、有成本的资源」。这个变化带来的设计差异比想象的大。

调度对象从服务变成了账号

同一个「服务」背后可能是多个配额、多个限流阈值的账号。调度要解决的是在账号之间分配流量并保证缓存命中。

很多调度实现把「优先级数值越大越优先」写成了升序,结果高端渠道永远排在后面。

上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。

请求有了成本属性

传统网关不关心请求值多少钱。AI 网关必须关心,因为成本直接决定限流策略和套餐设计。

所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。

网关作为唯一入口,维护一份全站价格目录,成本核算就有了一个可信的基准。

状态可以跨请求

传统 API 基本无状态,AI 接口可以有。跨请求的状态绑定成了一个新的设计维度。

这个能力看起来省事,但在有多个上游账号的场景下会带来一个硬约束:带 previous_response_id 的请求不能跨渠道切换。

所以这类请求的策略是:原渠道还在就等它恢复(原渠道满载或冷却时做有界等待),原渠道不在候选池就直接返回不可用,而不是「重试一下说不定行」。

输出质量不是可以用状态码表达的

除了可用性,还要能回答「这个模型今天表现好不好」。这是 AI 网关特有的观测维度。

当用户说「今天特别慢」的时候,你需要的东西不是一堆日志,而是一张能一眼看出哪个模型在降级的表。

一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。

实操:把健康看板的数据接进你自己的监控。

成功率之外还能看到延迟分布——这已经是接近「质量」的信号了。

curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
    rate = it.get('success_rate')
    rate = 'n/a' if rate is None else f'{rate:.1f}%'
    print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms  成功率 {rate}\")
"

# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。

几个容易踩的坑

  • 只实现了 happy path,异常分支一条没测。
  • 把上游凭据明文存库,或者在后台详情里返回完整 Key。
  • 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
  • 以为「反向代理写完」就是网关做完了。

小结

网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。

文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。