模型健康看板:怎么用一条只读接口接进自己的监控

举报
Rolle 发表于 2026/11/15 17:54:38 2026/11/15
【摘要】 很多团队想给自己的系统加个 AI 供应商状态监控,但每次都去人工看官网页面。这件事其实只需要一个公开只读的 JSON 接口。

很多团队想给自己的系统加个 AI 供应商状态监控,但每次都去人工看官网页面。这件事其实只需要一个公开只读的 JSON 接口。

接口返回了什么

每个模型/平台组合的当前状态、延迟、探测耗时、检查时间、近一小时成功率与样本数,以及一段时间窗口的历史序列。

否则用户会来问「我什么都没干,为什么额度少了」。

看板上的延迟数字到底测的是什么,需要讲清楚:是 HEAD 请求的网络往返,还是真实文本生成的首字节时间。

统计窗口和保留周期要清楚

支持 24h / 7d / 15d / 30d 的连续窗口,历史明细保留 90 天,每天按业务日历的 03:00 清理一次。这些信息应该写在文档里。

成功率、时间窗口、历史保留时长——这些数字如果口径不透明,看板就失去了参考价值。

例如「近一小时请求统计」和「历史明细保留 90 天」这类信息,必须在页面上明确标注。

接口是公开的但探测不计入用户额度

公开只读意味着任何人都能查,这正是它的设计目的;同时探测消耗的是上游额度,不会扣到任何用户头上。

正确做法是:探测消耗上游额度,但不计入任何用户额度。

接入监控的正确姿势

按模型/平台聚合出告警规则:status 非 operational 持续 N 分钟则告警;success_rate 低于阈值告警。告警信息里直接带上模型名和状态。

一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。

实操:用健康数据做一次模型降级决策。

这段脚本可以直接当告警采集器用,改成定时任务即可。

import json, urllib.request

HEALTH = "https://aiminis.info/api/v1/model-health"
PRIMARY = "gpt-6.1-sol"
FALLBACK = "gpt-6-luna"

def pick_model():
    try:
        with urllib.request.urlopen(HEALTH, timeout=5) as r:
            items = json.load(r)["data"]["items"]
    except Exception:
        return PRIMARY                     # 探测不可用时不要贸然切换

    state = {}
    for it in items:
        state[it["model"]] = it

    p = state.get(PRIMARY)
    if p is None:
        return FALLBACK
    if p.get("status") in ("failed",):
        return FALLBACK
    if p.get("status") == "degraded" and (p.get("success_rate") or 100) < 95:
        return FALLBACK
    # unknown 说明数据不足,不作为切换依据
    return PRIMARY

几个容易踩的坑

  • 把「未知」显示成「正常」,用户信了然后发现调不通。
  • 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
  • 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
  • 把上游故障率和本站请求失败率混为一谈,误判故障范围。

小结

网关这层看不见,但它的每一次选择都在影响你的延迟、成本和成功率,值得花点时间打磨。

如果你也碰到上面这些问题,可以看看 https://aiminis.info/ —— 一个把协议适配、渠道调度、用量与额度都收敛在一起的 AI API 网关,OpenAI 与 Anthropic 两套协议都能直接接。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。