Agent 的循环终止条件:为什么"最大轮数"该是最后一道防线,而不是第一道
前言
一个 Agent 任务跑了四十多轮,账单比预期高一个数量级,最后什么都没产出。
去翻轨迹,前面七八轮是正常的:读文件、查数据、得出结论、发现结论和另一处记录矛盾、回头再查。到这里都是合理的。转折点在第十轮左右——它开始重复做同一件事,只是换了措辞。查同一个接口、拿回同样的数据、得出同样的困惑、再查一遍。
它没有报错,也没有陷入死循环意义上的"卡住"。每一轮都在推进、都有新的思考文本、都在调用工具。从任何单轮的视角看,它都是健康的。 只有把十几轮放在一起看,才能发现它在原地打转。
而当时的终止条件只有一个:max_turns = 50。到第五十轮才停,前面那三十多轮全是空转。
这件事让我重新想了一遍终止条件的层次。教训不是"把 max_turns 调小"——那只会让正常任务被误杀。教训是:能识别"没在进展"的判据,必须比"轮数用完"更早生效。
一、三类终止条件,各自失效的方式不同
先做个分类,因为这三类经常被混着用,而它们的失效模式完全不同。
| 类型 | 典型写法 | 什么时候该触发 | 失效后果 |
|---|---|---|---|
| 步数上限 | turns < N | 兜底,永远最后 | 设大了烧钱,设小了截断正常任务 |
| 预算上限 | tokens/cost < B | 成本约束强的场景 | 同上,且预算与难度不线性相关 |
| 收敛判据 | 检测无进展 | 本该最早触发 | 判据写歪会误杀正常探索 |
三者不是"选一个用",而是必须同时存在,且触发顺序是固定的:收敛判据最先,预算其次,步数最后。
这个顺序的理由很简单:收敛判据依赖语义理解,可能误判,所以它只能"建议停";预算和步数是硬约束,没有解释空间,所以它们"强制停"。把软判据放在前面,把硬约束放在后面兜底,是唯一能同时兼顾"该停的早停"和"不该停的别停"的结构。
二、步数上限为什么注定是兜底
2.1 它不携带任何关于任务的信息
max_turns = 20 这个数字,和"这个任务需要几步"之间没有关系。它是对所有任务统一施加的常数。
但任务的步数分布是长尾的:多数任务三五步就完,少数任务真的需要二三十步(比如要逐一核对十几个数据源)。统一的 N 只有一个选择:要么按长尾设,让短任务在跑飞时白白多烧十几轮;要么按均值设,让合法的长任务被腰斩。
这两种错都不轻,而且都没法通过调 N 解决。 因为问题不在 N 的取值,在于用了一个与任务无关的量做判据。
2.2 它的触发时刻总是错的
设 N=20。一个正常任务在第 8 步就完成了,步数上限永远不会触发——它的存在毫无价值。一个跑飞的任务在第 20 步才被拦下,而它可能从第 6 步就开始空转了——它拦得太晚。
也就是说,对正常任务它是一次多余的检查,对异常任务它是一次迟到的检查。 唯一合理的定位就是"绝对不能被突破的物理边界",用来防止代码 bug 导致的无限循环,而不是用来控制质量。
2.3 但它必须存在
反过来说,又不能没有。有一类故障是收敛判据和预算都拦不住的:判据本身出 bug、计数逻辑写错、异常路径里跳过了检查。这种情况下,步数上限是最后一道不会失效的墙。
所以正确的心态是:不指望它正常工作,只指望它在其他所有机制都失灵时还在。
三、收敛判据该怎么写
这是真正决定质量的一层。核心问题只有一个:怎么判断"这一轮没有带来新信息"。
3.1 三个可观测的信号
不要试图让模型自己判断"我是不是在原地打转"——它会很自信地说没有,因为每一轮它都觉得有进展。要用外部可观测的量。
信号一:动作重复。 连续若干轮,工具调用序列相同(工具名 + 关键参数)。这个最容易实现,也最容易误判:正常的重试、翻页、分批查询,动作看起来也是重复的。
信号二:状态未变。 每轮结束后给"任务的已知状态"算一个指纹,指纹连续几轮不变就说明没有新信息进来。这个比动作重复准,因为它看的是结果不是过程。
信号三:结论未收敛。 模型的输出结论在几轮之间反复摇摆(A → 非A → A),说明它在两个假设之间来回,没有新的证据打破僵局。
实践里最有效的是信号二,因为它同时避开了"重试算不算重复"和"换个说法算不算重复"这两个坑。
3.2 状态指纹里必须包含什么
指纹的构成直接决定判据的准确性,这是最容易写错的地方。
import hashlib, json
def state_fingerprint(known_facts, pending_questions, last_tool_result_digest):
"""
指纹 = 当前"已知什么" + "还欠什么" + "最近一次外部输入的摘要"
三者任一变化,都说明这一轮带来了新东西。
"""
payload = {
# 已确认的事实:只保留结论,不保留措辞
# 如果直接把模型的自然语言塞进来,措辞变化会让指纹每轮都变,判据永远不触发
"facts": sorted(known_facts),
# 待解问题集合:数量减少说明有进展,集合变化说明方向变了
"pending": sorted(pending_questions),
# 外部输入的摘要:防止"工具返回了内容但没被吸收"被当成有进展
"digest": last_tool_result_digest,
}
raw = json.dumps(payload, ensure_ascii=False, sort_keys=True)
return hashlib.sha256(raw.encode()).hexdigest()[:16]
这里有三个刻意的设计,每一个都是踩过坑之后加的:
只用结论,不用措辞。 如果把模型的思考文本纳入指纹,它会每轮都变——同样的意思换个说法,指纹就不同,判据永远不会触发。这一步是把"语义相同"归一化掉,虽然粗暴,但有效。
pending 必须进指纹。 只看 facts 会漏掉一类情况:任务在原地打转,但每轮都在提出新的子问题,facts 不变而 pending 膨胀。这种"发散型空转"比简单重复更烧钱,因为它每轮都在探索新方向却从不收敛。
外部输入要单独摘要。 有一种失败很隐蔽:工具每轮都返回了数据,但模型没把它吸收进 facts。此时 facts 不变、pending 不变,但确实有新输入进来。如果指纹只看前两项,会误判成"无进展"而提前终止一个其实在正常工作的任务。
3.3 阈值不是常数
"连续几轮指纹不变算无进展"这个数,不能全局取一个。
一个查数据的任务,某一轮可能要等外部接口返回,中间会有轮次是纯等待——这些轮次指纹必然不变,但它们不是空转。
处理办法是把阈值和"这一轮做了什么"挂钩:只有"调用了工具且拿到了非空结果"的轮次,才计入连续无进展计数。 纯等待、纯思考的轮次既不计数也不清零,让它们不干扰判据。
四、预算上限的正确用法
预算是硬约束,但它和步数上限有个同样的毛病:与任务难度不成比例。一个需要读十份文档的任务和一个只需一次查询的任务,预算需求差一个数量级。
所以预算不该设成"每任务固定额度",而该设成分级额度:
- 任务分档(简单问答 / 单步工具 / 多步规划),每档一个预算区间
- 超出档位预算时,不是立即终止,而是降级:切换到更便宜的模型、限制工具集、要求模型给出当前最优答案
- 降级后仍超预算,才终止并返回"部分结果 + 未完成原因"
这个设计的关键是中间那一步。大多数任务在预算将尽时,其实已经拿到了足够回答主要问题的信息,只是模型还想继续完善。直接杀掉会浪费这些信息;降级收口能把它变成一次可用的产出。
五、三层串起来的最小实现
把前面的判断合成一个检查函数,每轮结束调一次:
def should_stop(ctx):
"""返回 (是否停止, 原因, 是否强制)"""
# 第一层:收敛判据(软,最早触发)
if ctx.stall_streak >= STALL_LIMIT:
return True, "连续多轮无新信息,判定为原地打转", False
if ctx.repeat_action_streak >= REPEAT_LIMIT:
return True, "连续重复同一动作且参数相同", False
if ctx.oscillation_detected():
return True, "结论在假设之间反复摇摆,缺少新证据", False
# 第二层:预算(硬,中段触发)
if ctx.cost_used > ctx.budget * 0.8 and not ctx.degraded:
ctx.degrade() # 先降级,不终止
ctx.stall_streak = 0 # 降级后环境变了,重置计数
return False, "超预算 80%,已降级收口", False
if ctx.cost_used > ctx.budget:
return True, "预算耗尽", True
# 第三层:步数(最后一道墙)
if ctx.turns >= ctx.max_turns:
return True, "达到步数上限", True
return False, "", False
两个细节值得注意。一是降级后要重置 stall 计数——模型和工具集都换了,之前的"无进展"不再可比。二是返回里区分了"是否强制":软判据触发时,允许上层再给一轮"请基于现有信息给出结论",把已经拿到的信息变现;硬判据触发时直接收口,不给机会。
六、终止时该怎么"收尾"
停下只是第一步,停下之后返回什么,同样影响体验和成本。
最差的做法是直接抛一个"任务未完成"。用户拿不到任何东西,前面花的钱全成沉没成本。稍好一点是返回最后一条模型输出,但那常常是一句 "我需要再查一下",信息量接近零。
合理的做法是在终止点做一次强制收口调用:把当前已确认的事实、未解决的问题、以及"为什么停"一起交给模型,要求它只用已有信息给出一个带限定条件的答案。提示词可以写成固定的三段式——"你已经确认了什么、你还没解决什么、现在请只基于已确认部分给出结论,并列出因为缺少信息而无法覆盖的部分"。
这次调用很便宜,一次就够,但它把"半成品轨迹"变成了"有标注的部分结果"。用户看到的是"我查到了 A、B、C,D 因为接口返回不全无法确认",而不是空白。这个差别在观感上是决定性的,在成本上几乎免费。
同理,"为什么停"这个原因必须作为结构字段一起返回,而不是让上层去猜。上层拿到原因之后能做区别处理:因无进展而停的任务可以换个策略重试;因预算耗尽而停的任务不该重试,该调额度;因步数上限而停的任务是代码问题,该报错。同一个"停止"信号,三种完全不同的后续动作,如果原因被丢掉,上层就只能统一按失败处理。
最后一个容易忽略的点:终止之后要清理。Agent 在运行过程中可能持有临时资源——会话上下文、打开的连接、申请到的锁。这些在异常路径上最容易漏。把清理写在终止判据之外(比如用 finally 语义包住整个循环),而不是散落在每个 return 前面,能避免"停了但资源没释放"这类慢性泄漏。
做了什么
这篇的东西来自一个反复跑飞的 Agent 任务,我把它的轨迹逐轮打出来,手工标了每一轮"是否真的带来了新信息",然后对照三种判据看它们各自会在第几轮触发。
结果是:动作重复检测在第 12 轮左右就开始报警,但其中有两次是合法的翻页查询,误报。状态指纹法在第 15 轮左右触发,且没有误报。步数上限(当时设的 50)从头到尾没起作用。
代码部分我在本地用模拟数据跑通了指纹计算和 should_stop 的分支逻辑,验证了降级路径不会死循环、重置计数后不会立即再次触发。没有在真实的多步 Agent 上做大样本统计,所以阈值具体取几(STALL_LIMIT 取 2 还是 3)没有可靠数字,只能给出"这个数需要按任务类型单独调"的结论。
一些体会
一,先想清楚"什么算进展",再写终止条件。 反过来做——先定一个轮数再补判据——几乎必然会得到一个既误杀又迟到的组合。
二,让模型自评"是否卡住"是行不通的。 它会认为每一轮都有价值,因为从单轮视角确实如此。卡住是一个跨轮次的性质,必须用外部状态量来测。
三,状态指纹里最该防的是"措辞漂移"。 一旦把自然语言原文纳入指纹,判据就形同虚设。归一化到结论层面虽然丢信息,但换来的是可用的判据。
四,预算将尽时先降级再终止。 直接杀掉一个跑了八成、信息基本够用的任务,是性价比最差的一种浪费。降级收口能把沉没成本变成产出。
五,步数上限的唯一价值是"其他机制都坏了的时候它还在"。 把它当质量工具用,会一直在调参数;把它当最后一道墙,反而能用得踏实。
- 点赞
- 收藏
- 关注作者
评论(0)