故障智能体的失败分类与自动降级策略
在 fix-system-agent 这类面向线上故障处置的 Agent 系统落地过程中,我们很容易聚焦“如何成功修复问题”,却忽略另一个同等关键的问题:当 Agent 走不通的时候该怎么办。
大模型本身具备不确定性,工具调用会受网络、权限、目标主机状态、接口限流等外部因素影响。如果缺少完善的失败分类与降级机制,Agent 很容易陷入无限重试、反复发散排查、不断产生无效工具调用的死循环,持续消耗上下文窗口,甚至在多次失败后做出更加激进、高风险的操作尝试。
前面两篇我们搭建了权限网关和参数语义校验,解决“不让危险动作随意执行”的问题。本文聚焦故障侧的稳定性设计:对 Agent 执行链路里的各类失败进行标准化归类,并配套分级自动降级策略,让 Agent 懂得什么时候重试、什么时候换方案、什么时候主动收敛并移交人工。
当前存在的问题
- 失败无分类,统一粗暴重试
不管是参数错误、目标主机失联、权限拒绝、模型幻觉推理错误、工具超时,全部采用相同的重试逻辑。 transient 临时故障没有得到有效重试,永久性错误还在反复尝试。 - 缺少重试预算与收敛上限
单次工具调用、单条排查分支没有最大尝试次数限制。在上下文有限的场景下,几次无效重试就会耗尽可用 token,导致整个会话直接失效。 - 降级路径单一,只有“继续尝试”和“终止会话”两种选择
失败之后要么一直试,要么直接结束,缺少中间态:切换替代工具、缩小排查范围、简化推理链路、主动汇总当前信息转人工。 - 失败上下文缺少沉淀
失败事件只记录一条报错信息,没有标记失败类型、根因标签、是否可恢复,后续无法基于失败数据优化提示词、工具规则和策略配置。 - 没有风险感知的降级逻辑
高风险修复操作失败后依然允许继续尝试同类高危动作,缺少失败次数触发的风险锁。
失败类型标准化划分
我们把 fix-system-agent 链路中的失败分为五大类,每一类对应明确的特征和恢复预期:
-
A类:临时瞬态故障(Transient)
特征:短时间内可自行恢复。包含工具调用超时、网络抖动、端口短暂拒绝连接、服务瞬时负载过高导致响应失败。
恢复预期:适合有限次数、带退避的重试。 -
B类:输入语义/契约校验失败(Contract)
特征:参数语义校验、白名单规则、Schema 校验不通过,属于输入本身不符合约束。
恢复预期:不适合直接重试,优先引导 Agent 修正参数、重新理解资源范围;多次修正失败后收敛。 -
C类:权限与策略拦截失败(Policy)
特征:被动态权限网关拦截,缺少授权、不在允许的策略范围内。
恢复预期:自动重试无意义。策略拦截后应当暂停该分支,提示需要人工审批或者更换低权限排查路径。 -
D类:资源永久性不存在(NotFound)
特征:目标文件、服务、实例、日志路径本身不存在,不是临时问题。
恢复预期:禁止重试,标记该资源不可用,引导 Agent 切换其他排查维度。 -
E类:推理/幻觉类失败(Reasoning)
特征:模型推理方向错误、错误归因、不断生成偏离故障现象的排查思路,连续多轮工具调用都无法得到有效信息。
恢复预期:重试工具没有价值,需要干预推理链路,例如重置思考分支、精简上下文、切换预设排查模板。
分类的核心价值:让系统不用依赖 LLM 自己判断“这次失败能不能重试”,由执行层给出确定性标签。
分级自动降级策略
基于失败分类,设计四层逐级降级机制,由轻到重:
L1:有限重试 + 指数退避
仅对 A 类瞬态故障开放重试。设置独立重试预算,例如最多 2 次重试,采用指数退避,避免短时间内风暴式调用。重试时附带简短标记,方便后续观测统计瞬态故障率。
其他类型失败直接跳过重试阶段。
L2:备选方案切换
重试预算耗尽或者不属于可重试类型时,进入方案切换:
- 同一个排查目标,调用等价替代工具。例如无法读取服务状态文件,则改用 systemctl 查询;
- 收缩排查范围,放弃全量检索,改为抽样、查看最近日志片段;
- 切换查询维度,从指标查询降级到日志查询。
L3:推理链路降级(轻量化思考)
当连续多次工具调用失败,判定为 E 类推理异常:
- 关闭开放式自由推理,强制匹配预设故障排查检查清单;
- 裁剪历史冗余上下文,只保留故障现象、已经确认的事实;
- 限制 Agent 不再主动发起新的变更类操作,只允许只读诊断。
L4:收敛归档,移交人工
达到会话失败阈值之后的最终降级:
- 停止所有工具调用;
- 自动汇总当前全部证据:故障现象、已经执行的排查动作、所有失败记录、已收集日志与指标;
- 生成结构化故障简报,标记卡点位置和失败分类;
- 主动输出人工接管提示,会话进入只读归档状态,不再自动执行动作。
额外增加一条风险保护规则:高危变更类操作,连续失败 1 次即禁止再次尝试同类操作,直接进入 L4 移交人工。防止模型在受挫后盲目尝试更激进的修复手段。
和已有模块联动
- 与参数语义校验:B类失败直接来源于校验层,标签由校验层附带传递;
- 与动态策略网关:C类权限拦截失败标签由网关输出,直接触发禁止重试;
- 与上下文快照:每次进入 L3、L4 降级节点时自动打快照,保留当前排查现场;
- 与可观测链路:每条失败记录带上失败分类标签、降级动作、重试次数,可按类型做大盘统计,持续优化工具集与提示词。
工程取舍
- 分类规则保持简单优先:优先基于错误码、网关/校验层返回的结构化标记判定,不依赖模型打标签;
- 预算隔离:只读诊断工具和变更修复工具使用两套独立重试、失败预算,变更类预算收紧;
- 降级策略可配置:通过 YAML 调整重试次数、阈值、是否允许备选方案切换,适配测试环境和生产环境不同容忍度;
- 区分静默降级和显式提示:L1/L2 轻量降级后台静默执行;L3/L4 必须在会话内明确告知当前状态,避免运维不知道 Agent 已经收敛。
后续扩展方向
- 失败根因聚类:持续收集同类失败样本,自动识别高频卡点,反向优化工具描述和提示词;
- 分支熔断:支持单条排查子分支熔断,不影响会话内其他独立排查方向;
- 人工干预回注:人工补充信息之后,降级锁可以按需解除,恢复 Agent 自动排查。
小结
一个稳健的故障修复 Agent,不在于永远不失败,而在于失败之后拥有可控的行为边界。标准化失败分类解决“是什么错”,分级降级策略解决“接下来该怎么做”。
结合之前的语义校验层、动态权限网关,整套体系就形成完整闭环:规范入参、管控权限、识别异常、失败可控收敛,把智能体的不确定性约束在安全、可观测、可接管的框架之内。
如果你想,下一篇我们可以写:故障智能体的证据链管理与事实隔离。
- 点赞
- 收藏
- 关注作者
评论(0)