模型健康看板:一个状态页应该暴露什么信息
当用户说「今天特别慢」的时候,你要的不是一堆日志,而是一张能一眼看出哪个模型在降级的表。但很多状态页做得像装饰品——只有绿点和红点,绿了不代表能用。
四种状态,缺一不可
operational(正常且新鲜)、degraded(成功但慢,或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足或检测暂停)。最关键的是 unknown 必须诚实。
第二,unknown 必须诚实地展示出来。整体状态在存在未知或不支持的目标时,不应该宣称「全部正常」。
degraded 的门槛要具体
成功但响应超过某个秒数就算降级——因为业务上是能感知的。这种「成功但不可用」的状态如果被归成 operational,状态页就失去了预警价值。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
第一,degraded 的门槛通常是一个具体的延迟阈值——成功但响应超过某个秒数就算降级,因为业务上是能感知的。
探测不能消耗用户额度
健康探测要真实发请求,如果这些请求记在某个 Key 名下,管理员看到的用量就会莫名偏高。正确做法是探测消耗上游额度,但不计入任何用户额度。
正确做法是:探测消耗上游额度,但不计入任何用户额度。
整体状态不能过度宣称
存在未知目标、不支持的目标、检测暂停或空列表时,不应该说「全部正常」。宁可显示「部分未知」,也不要给一个虚假的绿色。
宁可让用户看到「部分未知」,也不要给一个虚假的绿色。
实操:把健康看板的数据接进你自己的监控。
这个接口是公开只读的,不需要 Key,你可以直接接进自己的监控。
curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
rate = it.get('success_rate')
rate = 'n/a' if rate is None else f'{rate:.1f}%'
print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms 成功率 {rate}\")
"
# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。
几个容易踩的坑
- 把「未知」显示成「正常」,用户信了然后发现调不通。
- 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
- 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
- 把上游故障率和本站请求失败率混为一谈,误判故障范围。
小结
技术上的事大多不复杂,难的是把每个异常分支都想清楚。把这份清单存下来,下次排障会快不少。
如果你正在评估方案,可以先注册一个 Key 跑通最小请求,再决定要不要迁移——https://aiminis.info/ 支持按量计费,试用成本很低。
- 点赞
- 收藏
- 关注作者
评论(0)