用健康看板判断「现在该不该切模型」
状态页的实用价值不在于「证明一切正常」,而在于「出问题时告诉你该往哪走」。把它当成一个决策辅助工具用。
degraded 不等于不可用
degraded 往往是「成功但慢」。如果你的业务对延迟不敏感,可以继续用;如果在关键路径上,就该切到另一个模型。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
第一,degraded 的门槛通常是一个具体的延迟阈值——成功但响应超过某个秒数就算降级,因为业务上是能感知的。
成功率比状态标签更有信息量
success_rate 99.2% 和 87% 都是 operational 的话,你更需要看数字。近期采样数(samples)太小时,数字本身也不可信。
成功率、时间窗口、历史保留时长——这些数字如果口径不透明,看板就失去了参考价值。
把决策规则写下来
提前约定:哪个状态持续多久触发切模型、切到哪个备选、切完要不要通知用户。事后再定规则,慌乱时容易做错。
当用户说「今天特别慢」的时候,你需要的东西不是一堆日志,而是一张能一眼看出哪个模型在降级的表。
看板的价值不在于好看,而在于能直接驱动动作:哪个模型该降级、哪条线路该扩容、用户的报错能不能归因。
网关侧的自动切换是另一层
网关会在渠道之间做失败切换和冷却,这是自动的;而「切到另一个模型」是业务决策,通常需要你自己定。两者不要混淆。
网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。
冷却期间该渠道不参与候选,请求会自动落到其他线路上。
实操:用健康数据做一次模型降级决策。
先把 24h 成功率拉出来,看看你要监控的模型到底稳不稳。
import json, urllib.request
HEALTH = "https://aiminis.info/api/v1/model-health"
PRIMARY = "gpt-6.1-sol"
FALLBACK = "gpt-6-luna"
def pick_model():
try:
with urllib.request.urlopen(HEALTH, timeout=5) as r:
items = json.load(r)["data"]["items"]
except Exception:
return PRIMARY # 探测不可用时不要贸然切换
state = {}
for it in items:
state[it["model"]] = it
p = state.get(PRIMARY)
if p is None:
return FALLBACK
if p.get("status") in ("failed",):
return FALLBACK
if p.get("status") == "degraded" and (p.get("success_rate") or 100) < 95:
return FALLBACK
# unknown 说明数据不足,不作为切换依据
return PRIMARY
几个容易踩的坑
- 把「未知」显示成「正常」,用户信了然后发现调不通。
- 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
- 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
- 把上游故障率和本站请求失败率混为一谈,误判故障范围。
小结
把可观测性做在前面,后面所有的优化才有依据。
上面提到的能力基本都来自 https://aiminis.info/ 这个自建的 API 网关,支持 OpenAI 与 Anthropic 双协议接入,还有公开的模型健康看板 https://aiminis.info/model-health 可以先看看状态。
- 点赞
- 收藏
- 关注作者
评论(0)