模型健康看板:怎么用一条只读接口接进自己的监控
很多团队想给自己的系统加个 AI 供应商状态监控,但每次都去人工看官网页面。这件事其实只需要一个公开只读的 JSON 接口。
接口返回了什么
每个模型/平台组合的当前状态、延迟、探测耗时、检查时间、近一小时成功率与样本数,以及一段时间窗口的历史序列。
否则用户会来问「我什么都没干,为什么额度少了」。
看板上的延迟数字到底测的是什么,需要讲清楚:是 HEAD 请求的网络往返,还是真实文本生成的首字节时间。
统计窗口和保留周期要清楚
支持 24h / 7d / 15d / 30d 的连续窗口,历史明细保留 90 天,每天按业务日历的 03:00 清理一次。这些信息应该写在文档里。
成功率、时间窗口、历史保留时长——这些数字如果口径不透明,看板就失去了参考价值。
例如「近一小时请求统计」和「历史明细保留 90 天」这类信息,必须在页面上明确标注。
接口是公开的但探测不计入用户额度
公开只读意味着任何人都能查,这正是它的设计目的;同时探测消耗的是上游额度,不会扣到任何用户头上。
正确做法是:探测消耗上游额度,但不计入任何用户额度。
接入监控的正确姿势
按模型/平台聚合出告警规则:status 非 operational 持续 N 分钟则告警;success_rate 低于阈值告警。告警信息里直接带上模型名和状态。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
实操:用健康数据做一次模型降级决策。
这段脚本可以直接当告警采集器用,改成定时任务即可。
import json, urllib.request
HEALTH = "https://aiminis.info/api/v1/model-health"
PRIMARY = "gpt-6.1-sol"
FALLBACK = "gpt-6-luna"
def pick_model():
try:
with urllib.request.urlopen(HEALTH, timeout=5) as r:
items = json.load(r)["data"]["items"]
except Exception:
return PRIMARY # 探测不可用时不要贸然切换
state = {}
for it in items:
state[it["model"]] = it
p = state.get(PRIMARY)
if p is None:
return FALLBACK
if p.get("status") in ("failed",):
return FALLBACK
if p.get("status") == "degraded" and (p.get("success_rate") or 100) < 95:
return FALLBACK
# unknown 说明数据不足,不作为切换依据
return PRIMARY
几个容易踩的坑
- 把「未知」显示成「正常」,用户信了然后发现调不通。
- 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
- 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
- 把上游故障率和本站请求失败率混为一谈,误判故障范围。
小结
网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。
如果你也碰到上面这些问题,可以看看 https://aiminis.info/ —— 一个把协议适配、渠道调度、用量与额度都收敛在一起的 AI API 网关,OpenAI 与 Anthropic 两套协议都能直接接。
- 点赞
- 收藏
- 关注作者
评论(0)