测试全绿之后:AI 代码智能体的可靠性该如何衡量?

举报
yd_246969004 发表于 2026/11/04 12:54:37 2026/11/04
【摘要】 测试全绿之后:AI 代码智能体的可靠性该如何衡量?让大模型生成代码,再让它生成测试,运行之后全部通过。这是一条很自然的自动化开发流程。但其中存在一个容易被忽略的问题:如果代码和测试采用了同一个错误假设,“相互一致”就可能被误认为“符合需求”。这个问题关系到代码智能体的评价方式。一个系统能生成多少代码、通过多少测试,与它交付的结果究竟有多可靠,并不是同一个指标。要讨论自主软件开发,就需要同时研...

测试全绿之后:AI 代码智能体的可靠性该如何衡量?

让大模型生成代码,再让它生成测试,运行之后全部通过。这是一条很自然的自动化开发流程。

但其中存在一个容易被忽略的问题:如果代码和测试采用了同一个错误假设,“相互一致”就可能被误认为“符合需求”。

这个问题关系到代码智能体的评价方式。一个系统能生成多少代码、通过多少测试,与它交付的结果究竟有多可靠,并不是同一个指标。要讨论自主软件开发,就需要同时研究两个能力:生成正确实现的能力,以及识别错误实现的能力。

本文围绕一个具体问题展开:在有限预算下,怎样判断一个 AI 验证流程确实减少了错误,而不只是增加了“通过”的结果?

一、一个简单例子:代码和测试可以一起犯错

考虑一条明确的需求:

订单金额为非负整数,单位为元;满 100 元减 10 元,未满 100 元不减。

模型生成了下面的实现与测试:

def pay(amount):
    return amount - 10 if amount > 100 else amount

assert pay(80) == 80
assert pay(120) == 110

两条测试都会通过,而且分别执行了条件为真与为假的分支。但是,当订单金额恰好为 100 元时,程序返回 100,正确结果应当是 90。

这说明,执行过两个分支,并不意味着检查过决定业务含义的边界条件。

更值得研究的是另一种情况:模型读完这段代码后,继续补充测试:

assert pay(100) == 100

现在,边界值也“测到了”,结果依然全绿,但错误被写进了断言。

这里需要区分两个环节:

  • 测试输入决定程序会执行什么行为。

  • 测试判定依据决定什么结果应当算正确,软件测试研究通常称其为 test oracle。

输入触发了错误行为,并不代表断言能够识别这个错误。如果断言只是重复实现当前给出的结果,测试就可能把缺陷固定下来。

因此,评价 AI 生成测试的能力,必须检查它的判定依据来自哪里:明确的需求、可信的参考行为,还是被测代码本身。

二、已有研究提供了哪些证据?

“测试通过不足以证明代码正确”早已是软件测试的基本问题。大模型带来的新研究对象,是代码与测试同时由生成模型产生时,两类产物之间如何传播错误。

首先,测试强度确实会改变代码模型的评测结论。NeurIPS 2023 的 EvalPlus 研究扩充了 HumanEval 的测试,发现了原测试未能识别的错误代码,并观察到部分模型排序发生变化。这意味着,排行榜上的分数不仅反映生成模型的能力,也受到验收测试充分性的影响。[1]

其次,实现信息可能影响后续测试的断言。2026 年 7 月的预印本研究比较了“接触错误实现后生成测试”与“根据任务描述独立生成测试”的工作流。在作者筛选的较难错误程序集合及相应实验设置中,论文报告的故障检出率约为 14% 与 25%。这一结果支持了错误从实现传播到测试的风险,但这些数字不能直接当作生产环境中 AI 代码的平均检错率。[2]

再看更接近应用规模的测试生成。2026 年 10 月发布的 TestSuiteBench 预印本包含 165 个开源应用,主要涉及 Rust、Go 和 C/C++ 命令行工具。在其主实验中,变异分数最高的受测系统,生成测试在参考实现上的通过比例为 96.1%,而变异分数为 55.5%。[3]

这里的“变异体”,是有意改变某项程序行为而构造的错误版本;变异分数衡量测试能识别其中多少个。上述两个百分数的分母不同,不能相减得到所谓的“能力差距”。它们说明的是:一套测试可以很少误报参考实现,却仍然放过大量预设错误。

这些研究共同提示,测试本身也需要接受评价。测试数量、运行成功率、覆盖率,都不能单独承担“软件可靠性”的全部含义。

三、把“通过率”与“通过之后的可靠性”分开

为了准确讨论这个问题,可以做一个简单的概率拆分。

设:

  • (C):候选实现满足已经明确的需求。

  • (A):候选实现被验证流程接受。

  • (p=P(C)):验证前,候选实现中正确实现的比例。

  • (s=P(A\mid C)):正确实现被接受的概率。

  • (f=P(A\mid \neg C)):错误实现被放过的概率。

那么,整体验收比例为:

[
P(A)=ps+(1-p)f
]

而验收后实现正确的条件概率为:

[
R=P(C\mid A)=\frac{ps}{ps+(1-p)f}
]

这只是贝叶斯公式的直接应用,却能澄清一个容易混淆的事实:通过率中既包含正确实现被接受,也包含错误实现被放过。

下面是假设数据的数学演示,不是某个模型的实测结果。固定 (p=60%)、(s=100%),只改变错误放行率:

验证条件 错误放行率 (f) 整体验收比例 (P(A)) 验收后正确比例 (R)
条件一 25% 70% 85.7%
条件二 5% 62% 96.8%

第二种条件下,通过的实现变少了,交付结果却更可靠。

当然,真实验证器变得更严格时,也可能误拒更多正确实现,使 (s) 下降。因此,仅看到通过率下降,同样不能证明验证质量提高。

这个公式也不要求生成器与验证器在统计上独立。即使两者高度关联,公式仍然成立;关联失效可能表现为更高的 (f)。公式负责区分评价口径,不能单独证明错误传播的原因。

还有一个经常被忽略的问题:验收后的可靠性依赖候选池的构成。

如果研究者人为准备一半正确代码、一半错误代码,计算出的 (R) 就对应这个构造分布。实际部署时,候选代码的正确比例可能完全不同。研究应同时报告 (s)、(f) 和样本构成,必要时针对不同的 (p) 做敏感性分析。

尤其不能只收集错误程序,再据此宣称系统交付结果的正确率。只使用错误样本,可以估计错误放行率,却无法估计正确实现被误拒的程度。

四、一项可复核的实验:信息隔离究竟有没有用?

已有研究已经讨论了错误传播与独立生成测试。进一步值得检验的问题是:

在规格足够明确、预算相同的条件下,限制测试生成器接触候选实现,能否降低错误放行,并且不过度增加正确实现的误拒?

可以采用一个基本的二因素实验。

先固定一批由不同代码模型产生的候选实现,再让各组验证完全相同的候选代码。各组都使用新会话,并获得相同的需求、接口、依赖与运行约束。

组别 测试生成模型与代码生成模型的关系 生成测试时是否能看到候选实现
第一组 同一模型 可以
第二组 同一模型 不可以
第三组 不同模型 可以
第四组 不同模型 不可以

“不可以看到实现”需要有明确边界:在断言冻结之前,也不能通过执行候选程序读取输出,再把这些输出写成期望值。否则,实现信息只是换了一条路径进入测试。

不同模型应交叉担任生成器与验证器,并分别报告结果。只比较“模型甲验证自己”和“模型乙验证模型甲”,无法判断改进来自错误模式的互补,还是模型乙本来就更擅长测试。

这项实验还需要满足几个条件。

第一,公开需求,隐藏评测答案。

所有决定正确性的需求都应向参与模型公开。隐藏的是具体评测输入、参考断言、故障位置与参考补丁,不能偷偷增加需求,再据此认定模型错误。存在歧义的任务应单独处理。

第二,同时保留正确与错误候选。

评价应至少报告错误放行率、正确实现的接受率、验收后错误占比,以及实际接受了多少实现。空测试、无法执行的测试和无法形成有效判定的情况,应单独记为失败或弃权,不能默认为通过。

否则,一个拒绝所有实现的验证器可以得到极低的错误放行率,一个不执行任何检查的验证器也可能获得极高的“通过率”。

第三,使用独立构建的评测依据。

最终评测应由独立流程依据公开规格构建,并结合人工复核。对于已有明确修复版本的真实缺陷,有效检错至少应表现为:测试在缺陷版本上失败,在修复版本上通过。

这里的“正确”仍是研究范围内的判断。有限测试可能漏错,参考实现也可能存在问题,不能把实验标签当作程序语义正确性的完整证明。

第四,控制预算,并保留失败记录。

各组应采用预先设定的验证预算,统计模型调用、重试和执行成本。多个测试、候选实现或变异体若来自同一任务,就不能全部视为独立样本。结果应报告任务或项目层面的配对差异及置信区间。

如果信息隔离的收益无法在重复实验中复现,或者主要依靠误拒更多正确实现获得,就不能声称它改善了验收质量。

这项实验检验的是信息暴露方式与模型组合的效果。换模型、换会话、隐藏代码,都不自动等于获得了统计独立的验证。

五、变异测试有价值,但它不能变成新的“正确率”

变异测试能够帮助判断测试是否有辨别力。

例如,把正确实现中的 >= 100 改成 > 100,再检查测试能否识别这一变化。如果不能,就暴露出测试对这个边界错误不够敏感。

这一研究方向已经有具体成果。SWE-Mutation 使用变异后的程序评估测试集合的区分能力;MUTGEN 将变异反馈引入大模型测试生成过程。因此,“加入变异测试”本身已经是已有方法,后续研究需要进一步说明它在什么条件下有效、成本如何,以及能否迁移到真实缺陷。[4][5]

尤其需要明确:

变异分数是针对特定错误构造方式的检出指标,不是代码正确的概率。

如果评测主要构造简单的边界替换,得到的结论就主要反映测试对这类错误的敏感性。它未必能够覆盖遗漏业务规则、状态交互错误、跨模块约束失效等问题。

等价变异也是实际困难。有些修改看似改变了代码,但没有改变规格允许范围内的行为;测试没有识别它,不一定意味着测试不足。研究需要说明等价、重复、无法执行以及无法确定类别的变异体如何处理。

如果某批变异体已经用于指导测试生成,也不宜直接把同一批变异体的检出率作为最终效果证明。更稳妥的做法,是另外保留未参与优化的变异体,并单独报告真实缺陷上的效果。

2026 年的一项复现研究进一步表明,覆盖率与变异分数的解释依赖使用场景:当输入代码可以合理视为正确、任务是生成回归测试时,这些指标在跨模型比较中可能提供有用信号;当输入代码本身可能含错、目标是发现这些错误时,它们便不再是可靠的替代指标。[6]

因此,变异测试适合作为诊断工具。它可以暴露测试的薄弱处,但最终仍要回答:这些改进是否帮助我们发现了此前会放过的真实错误?

六、评价代码智能体,应当把验收机制也纳入研究

从上述分析可以得到一个更具体的研究目标:

在相同预算和相近的正确实现保留率下,寻找能够稳定降低错误放行的验证方式,并解释它对哪些错误有效、对哪些错误仍然失效。

这个目标能够被实验支持,也能够被实验推翻。它要求研究者公开样本构成、需求边界、验收规则与失败案例,而不只是报告一个更高的总分。

这里提出的是一套研究思路,不是已经完成的新实验结论。已有文献提供了错误传播、测试强度与指标局限方面的证据;信息隔离在不同任务上的收益、模型之间的错误互补性,以及这些收益是否值得额外成本,仍然需要具体测量。

对 AI 编程系统的评价,应当能够回答三个问题:它放过了哪些已知错误,误拦了多少符合要求的实现,以及这些结果用了多少成本。

测试全绿描述了一次验收结果。可靠性研究还需要继续检验这次验收所依据的机制。


【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。