AI 应用的测试策略:为什么传统方法不够用
AI 应用的输出是非确定的,传统测试里「断言期望值」的方法几乎用不上。但这不意味着 AI 应用没法测——只是测试的对象变了。
测不变量,而不是测具体输出
「回答里必须包含来源链接」「工具必须被调用一次」「不能出现第二个工具调用」——这类不变量比断言具体文案可靠得多。
转换层要能处理「连续多个工具结果 → 再接一段普通文本」这种序列,而不是假设一轮只有一个工具结果。
这样即使上游模型被诱导输出恶意工具调用,最坏结果也只是「没执行」,而不是「被执行了」。
把协议行为当成可测的单元
流式的事件序列、工具调用的参数结构、错误事件的类型——这些是确定性的,可以写成断言。
因为工具调用涉及结构化参数的生成、解析、聚合和回传,任何一环处理得不严谨,模型就会收到一段语法错误的 JSON,然后开始胡说八道。
所以做工具调用的第一天,不要急着接 Agent 框架,先用最朴素的 curl 把单轮工具调用跑通。
回归要基于真实样本
保存一批真实请求作为固定样本,每次改动后跑一遍,看输出是否出现不可接受的退化。
区分方法看响应来源和是否带 Retry-After。
契约测试是性价比最高的一层
不需要判断模型答得好不好,只需要保证「接口行为没变」。这一层能挡住绝大多数破坏性改动。
哪怕只有一个后端,也建议把 Base URL 抽成环境变量或配置中心的一项。
实操:单轮工具调用的最小闭环,先跑通再加 Agent 框架。
把这个循环变成固定样本的回归脚本,比人工点一遍有效得多。
import json, os
from openai import OpenAI
client = OpenAI(api_key=os.environ["GATEWAY_API_KEY"],
base_url="https://aiminis.info/v1")
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "查询指定城市的天气",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "杭州今天天气怎么样?"}]
resp = client.chat.completions.create(
model="gpt-6-sol", messages=messages, tools=TOOLS,
)
msg = resp.choices[0].message
if msg.tool_calls:
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = my_weather_func(args["city"]) # 你的业务逻辑
messages.append(msg) # 模型发出的调用
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result, ensure_ascii=False),
})
final = client.chat.completions.create(
model="gpt-6-sol", messages=messages, tools=TOOLS,
)
print(final.choices[0].message.content)
几个容易踩的坑
- 自定义工具没写
properties,模型收到的工具描述是残缺的。 - 工具结果和普通文本混在同一条消息里时,按「一轮只有一个工具」来解析。
- 把工具的原始参数写进请求日志,日志成了数据泄露源。
- 在流式下把分片参数直接拼成字符串当 JSON 解析,遇到被转义的引号就炸。
小结
把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。
对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。
- 点赞
- 收藏
- 关注作者
评论(0)