AI 应用的测试策略:为什么传统方法不够用

举报
Rolle 发表于 2026/11/15 18:29:04 2026/11/15
【摘要】 AI 应用的输出是非确定的,传统测试里「断言期望值」的方法几乎用不上。但这不意味着 AI 应用没法测——只是测试的对象变了。

AI 应用的输出是非确定的,传统测试里「断言期望值」的方法几乎用不上。但这不意味着 AI 应用没法测——只是测试的对象变了。

测不变量,而不是测具体输出

「回答里必须包含来源链接」「工具必须被调用一次」「不能出现第二个工具调用」——这类不变量比断言具体文案可靠得多。

转换层要能处理「连续多个工具结果 → 再接一段普通文本」这种序列,而不是假设一轮只有一个工具结果。

这样即使上游模型被诱导输出恶意工具调用,最坏结果也只是「没执行」,而不是「被执行了」。

把协议行为当成可测的单元

流式的事件序列、工具调用的参数结构、错误事件的类型——这些是确定性的,可以写成断言。

因为工具调用涉及结构化参数的生成、解析、聚合和回传,任何一环处理得不严谨,模型就会收到一段语法错误的 JSON,然后开始胡说八道。

所以做工具调用的第一天,不要急着接 Agent 框架,先用最朴素的 curl 把单轮工具调用跑通。

回归要基于真实样本

保存一批真实请求作为固定样本,每次改动后跑一遍,看输出是否出现不可接受的退化。

区分方法看响应来源和是否带 Retry-After。

契约测试是性价比最高的一层

不需要判断模型答得好不好,只需要保证「接口行为没变」。这一层能挡住绝大多数破坏性改动。

哪怕只有一个后端,也建议把 Base URL 抽成环境变量或配置中心的一项。

实操:单轮工具调用的最小闭环,先跑通再加 Agent 框架。

把这个循环变成固定样本的回归脚本,比人工点一遍有效得多。

import json, os
from openai import OpenAI

client = OpenAI(api_key=os.environ["GATEWAY_API_KEY"],
                base_url="https://aiminis.info/v1")

TOOLS = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "查询指定城市的天气",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

messages = [{"role": "user", "content": "杭州今天天气怎么样?"}]
resp = client.chat.completions.create(
    model="gpt-6-sol", messages=messages, tools=TOOLS,
)

msg = resp.choices[0].message
if msg.tool_calls:
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = my_weather_func(args["city"])          # 你的业务逻辑
        messages.append(msg)                            # 模型发出的调用
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result, ensure_ascii=False),
        })
    final = client.chat.completions.create(
        model="gpt-6-sol", messages=messages, tools=TOOLS,
    )
    print(final.choices[0].message.content)

几个容易踩的坑

  • 自定义工具没写 properties,模型收到的工具描述是残缺的。
  • 工具结果和普通文本混在同一条消息里时,按「一轮只有一个工具」来解析。
  • 把工具的原始参数写进请求日志,日志成了数据泄露源。
  • 在流式下把分片参数直接拼成字符串当 JSON 解析,遇到被转义的引号就炸。

小结

把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。

对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。