网关的性能:延迟到底花在哪

举报
Rolle 发表于 2026/11/15 18:21:35 2026/11/15
【摘要】 一次 AI 请求的延迟由好几段组成:网络往返、排队、模型生成、网关处理。只看总延迟是没用的,得分段看。

一次 AI 请求的延迟由好几段组成:网络往返、排队、模型生成、网关处理。只看总延迟是没用的,得分段看。

先分清首字节和总时长

首字节时间反映「多久开始有反应」,总时长反映「整个回答多久完成」。用户抱怨的通常是前者,但账单对应的是后者。

成功率、时间窗口、历史保留时长——这些数字如果口径不透明,看板就失去了参考价值。

看板上的延迟数字到底测的是什么,需要讲清楚:是 HEAD 请求的网络往返,还是真实文本生成的首字节时间。

排队时间是可优化的部分

如果候选渠道都满载,请求会进入有界等待。这段时间是纯损耗,值得专门监控。

上游明确返回 429,通常需要等一个明确的 Retry-After;连接拨号失败往往意味着该账号的凭据或网络有问题,冷却时间要更长。

冷却期间该渠道不参与候选,请求会自动落到其他线路上。

网关自身的处理开销很小

真正的开销在网络和上游。网关能做的是避免不必要的排队、少做无谓的重试、保持流式不缓冲。

很多自建转发在流式上做得糙:要么等上游整个响应回来再切片伪流式,要么把 SSE 帧原样透传但不做任何错误处理。

真正的流式代理要处理三件事:帧的边界、上游的中途报错、以及客户端中途断开时的取消传播。

延迟和成本经常反向

更贵的模型通常更慢。选型时要一起看,而不是只看单价。

切完之后你通常会发现,成本大头不是最贵的模型,而是某个循环里没退出的重试。

所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。

实操:把健康看板的数据接进你自己的监控。

看板上的 ping 和 latency 两条曲线,正好对应这两段延迟。

curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
    rate = it.get('success_rate')
    rate = 'n/a' if rate is None else f'{rate:.1f}%'
    print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms  成功率 {rate}\")
"

# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。

几个容易踩的坑

  • 把「未知」显示成「正常」,用户信了然后发现调不通。
  • 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
  • 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
  • 把上游故障率和本站请求失败率混为一谈,误判故障范围。

小结

技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。

文中的配置和示例都能在 https://aiminis.info/ 直接跑一遍,接入文档在 https://aiminis.info/docs/api-integration。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。