一次请求最多试三次:网关的重试边界应该划在哪里

举报
Rolle 发表于 2026/11/15 17:29:31 2026/11/15
【摘要】 「上游报错了就换个渠道重试」听起来天经地义,但真正实现起来才发现,能重试的情况其实非常少。重试做错了,轻则账单翻倍,重则在故障时把上游彻底压垮。

「上游报错了就换个渠道重试」听起来天经地义,但真正实现起来才发现,能重试的情况其实非常少。重试做错了,轻则账单翻倍,重则在故障时把上游彻底压垮。

只有暂时性故障才值得重试

明确的 401/403/429/502/503/504、OAuth 凭据刷新失败、能确认请求根本没发出去的拨号失败——这些是「换条路可能成」。而 context_length_exceeded、invalid_request_error、content_filter 这类是请求本身有问题,换渠道照样失败。

同时还有更严格的门槛:只有明确的暂时性故障(401/403/429/502/503/504、OAuth 刷新失败、连接拨号失败)才允许切换。

像 context_length_exceeded、invalid_request_error、content_filter 这类请求级错误不触发切换,因为换渠道同样会失败。

流式请求一旦开流,就没法重放

响应头已经发出去了,客户端已经在消费数据,此时换渠道意味着要把同一段内容发两遍。所以流式场景下的正确做法是:把出问题的渠道移出轮转,让后续请求自动走别的线路。

对非流式请求来说,这等价于失败,网关应该切换到下一个候选渠道重试。

对流式请求来说,响应头已经发出去了,没法重放,只能把该渠道移出轮转、后续请求走别的渠道。

重试是最容易藏起来的成本

一次 429 触发三次重试,单次看起来无感,乘上 QPS 之后就是实打实的钱。所以成本优化的第一步往往不是换模型,而是把无效重试去掉。

一次 429 或 503 触发重试,单次看起来无感,但乘上 QPS 之后就是实打实的账单。

所以成本优化的第一步不是换便宜模型,而是把无效重试去掉:不可重试的错误类型不要重试,已经失败且没有上游用量的请求不要重放。

「为什么同一个请求有时 200 有时 503」

这通常就是重试策略在起作用:前几次打到了满载的渠道,被切换后换到了空闲渠道。理解这一点很重要——它说明你的 Key 能用的渠道池比想象中窄。

对应到网关:401 多半是 Key 本身错误、过期或被撤销;403 多半是分组不允许访问目标模型,或者上游凭据失败。

看客户端收到的最后一个 SSE 事件是什么——如果是明确的 error 事件,说明网关做了正确的错误上报;如果是戛然而止,那就是真的断了。

实操:流式请求:注意看 SSE 的事件边界。

重试策略最好在流式和非流式上分别验证,它们的行为差异很大。

curl -N "https://aiminis.info/v1/chat/completions" \
  -H "Authorization: Bearer sk-gw-你的密钥" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6-sol",
    "messages": [{"role": "user", "content": "写一段关于 API 网关的技术介绍"}],
    "stream": true
  }'
# -N 关闭缓冲,才能看到逐条吐字的效果。
# 上游中途失败时,你会收到一个明确的 error 事件,而不是戛然而止。

几个容易踩的坑

  • 带着 previous_response_id 期待网关自动换号续接——带这个参数的请求不会跨渠道重试。
  • 把 Codex 账号的余量当成 OpenAI API 平台的余额来对账。
  • 在流式已经开始之后客户端超时断开,却期待网关补一个正常的结束标记。
  • 对 context_length_exceeded 这类请求级错误也做重试,换渠道同样失败。

小结

把可观测性做在前面,后面所有的优化才有依据。

对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。