用健康看板判断「现在该不该切模型」

举报
Rolle 发表于 2026/11/15 17:55:38 2026/11/15
【摘要】 状态页的实用价值不在于「证明一切正常」,而在于「出问题时告诉你该往哪走」。把它当成一个决策辅助工具用。

状态页的实用价值不在于「证明一切正常」,而在于「出问题时告诉你该往哪走」。把它当成一个决策辅助工具用。

degraded 不等于不可用

degraded 往往是「成功但慢」。如果你的业务对延迟不敏感,可以继续用;如果在关键路径上,就该切到另一个模型。

一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。

第一,degraded 的门槛通常是一个具体的延迟阈值——成功但响应超过某个秒数就算降级,因为业务上是能感知的。

成功率比状态标签更有信息量

success_rate 99.2% 和 87% 都是 operational 的话,你更需要看数字。近期采样数(samples)太小时,数字本身也不可信。

成功率、时间窗口、历史保留时长——这些数字如果口径不透明,看板就失去了参考价值。

把决策规则写下来

提前约定:哪个状态持续多久触发切模型、切到哪个备选、切完要不要通知用户。事后再定规则,慌乱时容易做错。

当用户说「今天特别慢」的时候,你需要的东西不是一堆日志,而是一张能一眼看出哪个模型在降级的表。

看板的价值不在于好看,而在于能直接驱动动作:哪个模型该降级、哪条线路该扩容、用户的报错能不能归因。

网关侧的自动切换是另一层

网关会在渠道之间做失败切换和冷却,这是自动的;而「切到另一个模型」是业务决策,通常需要你自己定。两者不要混淆。

网关在多个候选渠道之间做选择时,顺序不是随机的,它有一套明确的优先级:授权候选 → 会话亲和 → 优先级 → 负载 → 最近使用次序。

冷却期间该渠道不参与候选,请求会自动落到其他线路上。

实操:用健康数据做一次模型降级决策。

先把 24h 成功率拉出来,看看你要监控的模型到底稳不稳。

import json, urllib.request

HEALTH = "https://aiminis.info/api/v1/model-health"
PRIMARY = "gpt-6.1-sol"
FALLBACK = "gpt-6-luna"

def pick_model():
    try:
        with urllib.request.urlopen(HEALTH, timeout=5) as r:
            items = json.load(r)["data"]["items"]
    except Exception:
        return PRIMARY                     # 探测不可用时不要贸然切换

    state = {}
    for it in items:
        state[it["model"]] = it

    p = state.get(PRIMARY)
    if p is None:
        return FALLBACK
    if p.get("status") in ("failed",):
        return FALLBACK
    if p.get("status") == "degraded" and (p.get("success_rate") or 100) < 95:
        return FALLBACK
    # unknown 说明数据不足,不作为切换依据
    return PRIMARY

几个容易踩的坑

  • 把「未知」显示成「正常」,用户信了然后发现调不通。
  • 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
  • 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
  • 把上游故障率和本站请求失败率混为一谈,误判故障范围。

小结

把可观测性做在前面,后面所有的优化才有依据。

上面提到的能力基本都来自 https://aiminis.info/ 这个自建的 API 网关,支持 OpenAI 与 Anthropic 双协议接入,还有公开的模型健康看板 https://aiminis.info/model-health 可以先看看状态。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。