测试全绿之后:AI 代码智能体的可靠性该如何衡量?
测试全绿之后:AI 代码智能体的可靠性该如何衡量?
让大模型生成代码,再让它生成测试,运行之后全部通过。这是一条很自然的自动化开发流程。
但其中存在一个容易被忽略的问题:如果代码和测试采用了同一个错误假设,“相互一致”就可能被误认为“符合需求”。
这个问题关系到代码智能体的评价方式。一个系统能生成多少代码、通过多少测试,与它交付的结果究竟有多可靠,并不是同一个指标。要讨论自主软件开发,就需要同时研究两个能力:生成正确实现的能力,以及识别错误实现的能力。
本文围绕一个具体问题展开:在有限预算下,怎样判断一个 AI 验证流程确实减少了错误,而不只是增加了“通过”的结果?
一、一个简单例子:代码和测试可以一起犯错
考虑一条明确的需求:
订单金额为非负整数,单位为元;满 100 元减 10 元,未满 100 元不减。
模型生成了下面的实现与测试:
def pay(amount):
return amount - 10 if amount > 100 else amount
assert pay(80) == 80
assert pay(120) == 110
两条测试都会通过,而且分别执行了条件为真与为假的分支。但是,当订单金额恰好为 100 元时,程序返回 100,正确结果应当是 90。
这说明,执行过两个分支,并不意味着检查过决定业务含义的边界条件。
更值得研究的是另一种情况:模型读完这段代码后,继续补充测试:
assert pay(100) == 100
现在,边界值也“测到了”,结果依然全绿,但错误被写进了断言。
这里需要区分两个环节:
-
测试输入决定程序会执行什么行为。
-
测试判定依据决定什么结果应当算正确,软件测试研究通常称其为 test oracle。
输入触发了错误行为,并不代表断言能够识别这个错误。如果断言只是重复实现当前给出的结果,测试就可能把缺陷固定下来。
因此,评价 AI 生成测试的能力,必须检查它的判定依据来自哪里:明确的需求、可信的参考行为,还是被测代码本身。
二、已有研究提供了哪些证据?
“测试通过不足以证明代码正确”早已是软件测试的基本问题。大模型带来的新研究对象,是代码与测试同时由生成模型产生时,两类产物之间如何传播错误。
首先,测试强度确实会改变代码模型的评测结论。NeurIPS 2023 的 EvalPlus 研究扩充了 HumanEval 的测试,发现了原测试未能识别的错误代码,并观察到部分模型排序发生变化。这意味着,排行榜上的分数不仅反映生成模型的能力,也受到验收测试充分性的影响。[1]
其次,实现信息可能影响后续测试的断言。2026 年 7 月的预印本研究比较了“接触错误实现后生成测试”与“根据任务描述独立生成测试”的工作流。在作者筛选的较难错误程序集合及相应实验设置中,论文报告的故障检出率约为 14% 与 25%。这一结果支持了错误从实现传播到测试的风险,但这些数字不能直接当作生产环境中 AI 代码的平均检错率。[2]
再看更接近应用规模的测试生成。2026 年 10 月发布的 TestSuiteBench 预印本包含 165 个开源应用,主要涉及 Rust、Go 和 C/C++ 命令行工具。在其主实验中,变异分数最高的受测系统,生成测试在参考实现上的通过比例为 96.1%,而变异分数为 55.5%。[3]
这里的“变异体”,是有意改变某项程序行为而构造的错误版本;变异分数衡量测试能识别其中多少个。上述两个百分数的分母不同,不能相减得到所谓的“能力差距”。它们说明的是:一套测试可以很少误报参考实现,却仍然放过大量预设错误。
这些研究共同提示,测试本身也需要接受评价。测试数量、运行成功率、覆盖率,都不能单独承担“软件可靠性”的全部含义。
三、把“通过率”与“通过之后的可靠性”分开
为了准确讨论这个问题,可以做一个简单的概率拆分。
设:
-
(C):候选实现满足已经明确的需求。
-
(A):候选实现被验证流程接受。
-
(p=P(C)):验证前,候选实现中正确实现的比例。
-
(s=P(A\mid C)):正确实现被接受的概率。
-
(f=P(A\mid \neg C)):错误实现被放过的概率。
那么,整体验收比例为:
[
P(A)=ps+(1-p)f
]
而验收后实现正确的条件概率为:
[
R=P(C\mid A)=\frac{ps}{ps+(1-p)f}
]
这只是贝叶斯公式的直接应用,却能澄清一个容易混淆的事实:通过率中既包含正确实现被接受,也包含错误实现被放过。
下面是假设数据的数学演示,不是某个模型的实测结果。固定 (p=60%)、(s=100%),只改变错误放行率:
| 验证条件 | 错误放行率 (f) | 整体验收比例 (P(A)) | 验收后正确比例 (R) |
|---|---|---|---|
| 条件一 | 25% | 70% | 85.7% |
| 条件二 | 5% | 62% | 96.8% |
第二种条件下,通过的实现变少了,交付结果却更可靠。
当然,真实验证器变得更严格时,也可能误拒更多正确实现,使 (s) 下降。因此,仅看到通过率下降,同样不能证明验证质量提高。
这个公式也不要求生成器与验证器在统计上独立。即使两者高度关联,公式仍然成立;关联失效可能表现为更高的 (f)。公式负责区分评价口径,不能单独证明错误传播的原因。
还有一个经常被忽略的问题:验收后的可靠性依赖候选池的构成。
如果研究者人为准备一半正确代码、一半错误代码,计算出的 (R) 就对应这个构造分布。实际部署时,候选代码的正确比例可能完全不同。研究应同时报告 (s)、(f) 和样本构成,必要时针对不同的 (p) 做敏感性分析。
尤其不能只收集错误程序,再据此宣称系统交付结果的正确率。只使用错误样本,可以估计错误放行率,却无法估计正确实现被误拒的程度。
四、一项可复核的实验:信息隔离究竟有没有用?
已有研究已经讨论了错误传播与独立生成测试。进一步值得检验的问题是:
在规格足够明确、预算相同的条件下,限制测试生成器接触候选实现,能否降低错误放行,并且不过度增加正确实现的误拒?
可以采用一个基本的二因素实验。
先固定一批由不同代码模型产生的候选实现,再让各组验证完全相同的候选代码。各组都使用新会话,并获得相同的需求、接口、依赖与运行约束。
| 组别 | 测试生成模型与代码生成模型的关系 | 生成测试时是否能看到候选实现 |
|---|---|---|
| 第一组 | 同一模型 | 可以 |
| 第二组 | 同一模型 | 不可以 |
| 第三组 | 不同模型 | 可以 |
| 第四组 | 不同模型 | 不可以 |
“不可以看到实现”需要有明确边界:在断言冻结之前,也不能通过执行候选程序读取输出,再把这些输出写成期望值。否则,实现信息只是换了一条路径进入测试。
不同模型应交叉担任生成器与验证器,并分别报告结果。只比较“模型甲验证自己”和“模型乙验证模型甲”,无法判断改进来自错误模式的互补,还是模型乙本来就更擅长测试。
这项实验还需要满足几个条件。
第一,公开需求,隐藏评测答案。
所有决定正确性的需求都应向参与模型公开。隐藏的是具体评测输入、参考断言、故障位置与参考补丁,不能偷偷增加需求,再据此认定模型错误。存在歧义的任务应单独处理。
第二,同时保留正确与错误候选。
评价应至少报告错误放行率、正确实现的接受率、验收后错误占比,以及实际接受了多少实现。空测试、无法执行的测试和无法形成有效判定的情况,应单独记为失败或弃权,不能默认为通过。
否则,一个拒绝所有实现的验证器可以得到极低的错误放行率,一个不执行任何检查的验证器也可能获得极高的“通过率”。
第三,使用独立构建的评测依据。
最终评测应由独立流程依据公开规格构建,并结合人工复核。对于已有明确修复版本的真实缺陷,有效检错至少应表现为:测试在缺陷版本上失败,在修复版本上通过。
这里的“正确”仍是研究范围内的判断。有限测试可能漏错,参考实现也可能存在问题,不能把实验标签当作程序语义正确性的完整证明。
第四,控制预算,并保留失败记录。
各组应采用预先设定的验证预算,统计模型调用、重试和执行成本。多个测试、候选实现或变异体若来自同一任务,就不能全部视为独立样本。结果应报告任务或项目层面的配对差异及置信区间。
如果信息隔离的收益无法在重复实验中复现,或者主要依靠误拒更多正确实现获得,就不能声称它改善了验收质量。
这项实验检验的是信息暴露方式与模型组合的效果。换模型、换会话、隐藏代码,都不自动等于获得了统计独立的验证。
五、变异测试有价值,但它不能变成新的“正确率”
变异测试能够帮助判断测试是否有辨别力。
例如,把正确实现中的 >= 100 改成 > 100,再检查测试能否识别这一变化。如果不能,就暴露出测试对这个边界错误不够敏感。
这一研究方向已经有具体成果。SWE-Mutation 使用变异后的程序评估测试集合的区分能力;MUTGEN 将变异反馈引入大模型测试生成过程。因此,“加入变异测试”本身已经是已有方法,后续研究需要进一步说明它在什么条件下有效、成本如何,以及能否迁移到真实缺陷。[4][5]
尤其需要明确:
变异分数是针对特定错误构造方式的检出指标,不是代码正确的概率。
如果评测主要构造简单的边界替换,得到的结论就主要反映测试对这类错误的敏感性。它未必能够覆盖遗漏业务规则、状态交互错误、跨模块约束失效等问题。
等价变异也是实际困难。有些修改看似改变了代码,但没有改变规格允许范围内的行为;测试没有识别它,不一定意味着测试不足。研究需要说明等价、重复、无法执行以及无法确定类别的变异体如何处理。
如果某批变异体已经用于指导测试生成,也不宜直接把同一批变异体的检出率作为最终效果证明。更稳妥的做法,是另外保留未参与优化的变异体,并单独报告真实缺陷上的效果。
2026 年的一项复现研究进一步表明,覆盖率与变异分数的解释依赖使用场景:当输入代码可以合理视为正确、任务是生成回归测试时,这些指标在跨模型比较中可能提供有用信号;当输入代码本身可能含错、目标是发现这些错误时,它们便不再是可靠的替代指标。[6]
因此,变异测试适合作为诊断工具。它可以暴露测试的薄弱处,但最终仍要回答:这些改进是否帮助我们发现了此前会放过的真实错误?
六、评价代码智能体,应当把验收机制也纳入研究
从上述分析可以得到一个更具体的研究目标:
在相同预算和相近的正确实现保留率下,寻找能够稳定降低错误放行的验证方式,并解释它对哪些错误有效、对哪些错误仍然失效。
这个目标能够被实验支持,也能够被实验推翻。它要求研究者公开样本构成、需求边界、验收规则与失败案例,而不只是报告一个更高的总分。
这里提出的是一套研究思路,不是已经完成的新实验结论。已有文献提供了错误传播、测试强度与指标局限方面的证据;信息隔离在不同任务上的收益、模型之间的错误互补性,以及这些收益是否值得额外成本,仍然需要具体测量。
对 AI 编程系统的评价,应当能够回答三个问题:它放过了哪些已知错误,误拦了多少符合要求的实现,以及这些结果用了多少成本。
测试全绿描述了一次验收结果。可靠性研究还需要继续检验这次验收所依据的机制。
- 点赞
- 收藏
- 关注作者
评论(0)