有界退避:比无限重试和立刻失败都更好的选择
所有渠道都满载时,你有三个选择:立刻返回 503、建立共享等待队列、或者在当前请求内做有界等待。第三个通常是正解。
共享队列是雪崩的制造机
流量抖动时,队列会瞬间堆积成雪崩:请求越多、等待越长、积压越大。等待队列在过载系统里往往是问题的放大器。
一个常见但危险的设计是:所有渠道都满了,就让请求进一个共享等待队列。
这在流量抖动时会瞬间堆积成雪崩。更稳的做法是:不建立共享队列,可重放的 POST 请求在当前请求内做有界退避等待,其他方法快速返回 503。
有界等待的意思是「等,但不无限等」
在当前请求内按退避策略尝试等待一个可用渠道,设一个总上限。超过上限就返回 503。客户端不会挂死,也不会被无限拖住。
有界等待的意义在于——等待有上限,不会无限期挂住客户端。
只有可重放的请求能等
可重放的 POST 请求适合在请求内等待;其他方法快速返回 503。因为不可重放的方法等待之后也无法安全重试。
这个能力看起来省事,但在有多个上游账号的场景下会带来一个硬约束:带 previous_response_id 的请求不能跨渠道切换。
所以这类请求的策略是:原渠道还在就等它恢复(原渠道满载或冷却时做有界等待),原渠道不在候选池就直接返回不可用,而不是「重试一下说不定行」。
返回 503 时客户端该怎么做
有 Retry-After 头就按它等,没有就说明是并发槽位耗尽、没有可预测的恢复时间,应该自己加随机抖动后重试。
常见原因有三类:上游连接断开、客户端超时、以及网关自身触发了某种保护策略。
看客户端收到的最后一个 SSE 事件是什么——如果是明确的 error 事件,说明网关做了正确的错误上报;如果是戛然而止,那就是真的断了。
实操:带指数退避的重试封装,只对真正可重试的错误重试。
退避加随机抖动,避免所有客户端在同一时刻一起重试。
import random, time
from openai import OpenAI, APIStatusError
client = OpenAI(api_key=API_KEY, base_url="https://aiminis.info/v1")
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_retry(fn, attempts=3):
for i in range(attempts):
try:
return fn()
except APIStatusError as e:
if e.status_code not in RETRYABLE or i == attempts - 1:
raise
time.sleep((2 ** i) + random.random())
# 4xx(参数错、额度不足、模型不存在)不该重试,换渠道也一样失败。
几个容易踩的坑
- 带着
previous_response_id期待网关自动换号续接——带这个参数的请求不会跨渠道重试。 - 把 Codex 账号的余量当成 OpenAI API 平台的余额来对账。
- 在流式已经开始之后客户端超时断开,却期待网关补一个正常的结束标记。
- 对
context_length_exceeded这类请求级错误也做重试,换渠道同样失败。
小结
网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。
如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。
- 点赞
- 收藏
- 关注作者
评论(0)