上游账号池怎么养:冷却、摘除与灰度
管理一批上游账号时,你会遇到一系列没有标准答案的运维决策:某条线路报错了该等多久再试、要不要主动摘除、新加的线路该给多少流量。
按原因分级冷却
凭据刷新失败、连接拨号失败、429、5xx,各自对应不同的冷却时长。统一用一个固定值,结果就是「该退下的没退下,该恢复的没恢复」。
所以这类请求的策略是:原渠道还在就等它恢复(原渠道满载或冷却时做有界等待),原渠道不在候选池就直接返回不可用,而不是「重试一下说不定行」。
同时还有更严格的门槛:只有明确的暂时性故障(401/403/429/502/503/504、OAuth 刷新失败、连接拨号失败)才允许切换。
成功响应里的 resp_ ID 是绑定线索
网关会把响应里观察到的 resp_ 开头的 ID 按 Key 和分组绑定到渠道,有效期一小时。这条信息可以帮你回答「上周三那次请求到底走了哪个账号」。
Responses 接口和 Chat Completions 最大的认知差异,是它允许客户端引用上一次响应的 ID。
这个能力看起来省事,但在有多个上游账号的场景下会带来一个硬约束:带 previous_response_id 的请求不能跨渠道切换。
灰度靠优先级,不靠随机数
新线路接入时,把它的优先级设在测试值,用真实流量的很小一部分去验证;确认稳定后再提升优先级。这是比「按比例随机」更可控的做法。
网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。
然后再比「最近被选中的次序」,久未使用的优先,完全相同时再随机打散。
摘除要看失败率而不是单次失败
单次失败可能是抖动,失败率持续上升才是信号。健康看板的 24h/7d 窗口就是为此设计的——历史明细保留 90 天,足够看清趋势。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
另外要区分「上游故障率」和「本站请求失败率」——输入被拒、额度用尽也会计为失败,但它不是上游的问题。
实操:多业务线共用一个网关时,按分组隔离资源。
把线路放进不同分组,就能用分组做灰度和隔离。
# 在后台「资源 → Key 分组」里建一个专属分组,
# 把指定的渠道移进去(注意:同一个渠道只要还挂在任何公开分组里,
# 未绑定的 Key 就仍然能用它,所以要从所有公开分组移除)。
# 然后在创建 Key 时选择这个专属分组:
# → 未绑定分组的 Key:能用所有公开分组里的渠道
# → 绑定专属分组的 Key:只能用该组渠道
# → 分组被停用 / 为空:直接拒绝,不回退到公开池
几个容易踩的坑
- 带着
previous_response_id期待网关自动换号续接——带这个参数的请求不会跨渠道重试。 - 把 Codex 账号的余量当成 OpenAI API 平台的余额来对账。
- 在流式已经开始之后客户端超时断开,却期待网关补一个正常的结束标记。
- 对
context_length_exceeded这类请求级错误也做重试,换渠道同样失败。
小结
把可观测性做在前面,后面所有的优化才有依据。
如果你也碰到上面这些问题,可以看看 https://aiminis.info/ —— 一个把协议适配、渠道调度、用量与额度都收敛在一起的 AI API 网关,OpenAI 与 Anthropic 两套协议都能直接接。
- 点赞
- 收藏
- 关注作者
评论(0)