网关的性能:延迟到底花在哪
一次 AI 请求的延迟由好几段组成:网络往返、排队、模型生成、网关处理。只看总延迟是没用的,得分段看。
先分清首字节和总时长
首字节时间反映「多久开始有反应」,总时长反映「整个回答多久完成」。用户抱怨的通常是前者,但账单对应的是后者。
成功率、时间窗口、历史保留时长——这些数字如果口径不透明,看板就失去了参考价值。
看板上的延迟数字到底测的是什么,需要讲清楚:是 HEAD 请求的网络往返,还是真实文本生成的首字节时间。
排队时间是可优化的部分
如果候选渠道都满载,请求会进入有界等待。这段时间是纯损耗,值得专门监控。
上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。
冷却期间该渠道不参与候选,请求会自动落到其他线路上。
网关自身的处理开销很小
真正的开销在网络和上游。网关能做的是避免不必要的排队、少做无谓的重试、保持流式不缓冲。
很多自建转发在流式上做得糙:要么等上游整个响应回来再切片伪流式,要么把 SSE 帧原样透传但不做任何错误处理。
真正的流式代理要处理三件事:帧的边界、上游的中途报错、以及客户端中途断开时的取消传播。
延迟和成本经常反向
更贵的模型通常更慢。选型时要一起看,而不是只看单价。
切完之后你通常会发现,成本大头不是最贵的模型,而是某个循环里没退出的重试。
所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。
实操:把健康看板的数据接进你自己的监控。
看板上的 ping 和 latency 两条曲线,正好对应这两段延迟。
curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
rate = it.get('success_rate')
rate = 'n/a' if rate is None else f'{rate:.1f}%'
print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms 成功率 {rate}\")
"
# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。
几个容易踩的坑
- 把「未知」显示成「正常」,用户信了然后发现调不通。
- 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
- 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
- 把上游故障率和本站请求失败率混为一谈,误判故障范围。
小结
技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。
文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。
- 点赞
- 收藏
- 关注作者
评论(0)