大模型时代的 API 网关该长什么样
传统 API 网关处理的是「请求路由到服务」,而 AI 网关处理的是「请求路由到不确定的、有状态的、有成本的资源」。这个变化带来的设计差异比想象的大。
调度对象从服务变成了账号
同一个「服务」背后可能是多个配额、多个限流阈值的账号。调度要解决的是在账号之间分配流量并保证缓存命中。
很多调度实现把「优先级数值越大越优先」写成了升序,结果高端渠道永远排在后面。
上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。
请求有了成本属性
传统网关不关心请求值多少钱。AI 网关必须关心,因为成本直接决定限流策略和套餐设计。
所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。
网关作为唯一入口,维护一份全站价格目录,成本核算就有了一个可信的基准。
状态可以跨请求
传统 API 基本无状态,AI 接口可以有。跨请求的状态绑定成了一个新的设计维度。
这个能力看起来省事,但在有多个上游账号的场景下会带来一个硬约束:带 previous_response_id 的请求不能跨渠道切换。
所以这类请求的策略是:原渠道还在就等它恢复(原渠道满载或冷却时做有界等待),原渠道不在候选池就直接返回不可用,而不是「重试一下说不定行」。
输出质量不是可以用状态码表达的
除了可用性,还要能回答「这个模型今天表现好不好」。这是 AI 网关特有的观测维度。
当用户说「今天特别慢」的时候,你需要的东西不是一堆日志,而是一张能一眼看出哪个模型在降级的表。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
实操:把健康看板的数据接进你自己的监控。
成功率之外还能看到延迟分布——这已经是接近「质量」的信号了。
curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
rate = it.get('success_rate')
rate = 'n/a' if rate is None else f'{rate:.1f}%'
print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms 成功率 {rate}\")
"
# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。
几个容易踩的坑
- 只实现了 happy path,异常分支一条没测。
- 把上游凭据明文存库,或者在后台详情里返回完整 Key。
- 没有做 Key 级限流和并发上限,单个租户就能打满整个池子。
- 以为「反向代理写完」就是网关做完了。
小结
网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。
文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。
- 点赞
- 收藏
- 关注作者
评论(0)