工具调用的多轮历史:跨协议翻译时最容易丢的东西
单轮工具调用几乎所有网关都能跑通。多轮——也就是模型调用工具、你返回结果、模型再调用另一个工具——才是分水岭。大部分「莫名其妙忘记上一轮」的故障都出在这里。
三种内容块要一起翻译
Anthropic 侧的消息可以混装文本块、tool_use 块、tool_result 块;OpenAI 侧则是 assistant 消息带 tool_calls、user 消息带 tool 内容。多轮翻译要把这个结构差异抹平。
实际请求里,工具结果和普通文本往往是混在一起的——模型调用完工具,拿到结果,然后继续说一段话。
工具调用参数里经常包含用户数据、文件内容、甚至密钥。
混合结果的处理顺序
实际请求里常见的是:连续多个工具结果,后面再跟一段普通文本。如果按「一轮只有一个工具结果」来解析,模型的下一句就会开始回答一个它根本没收到结果的问题。
转换层要能处理「连续多个工具结果 → 再接一段普通文本」这种序列,而不是假设一轮只有一个工具结果。
处理不好这里,模型的下一句就会莫名其妙地开始回答一个它根本没收到结果的问题。
工具调用 ID 必须双向对齐
模型发出的 tool_use.id 要在回传时变成对应的 tool_call_id,一个都不能丢。对不上的时候模型会认为工具从未返回过。
因为工具调用涉及结构化参数的生成、解析、聚合和回传,任何一环处理得不严谨,模型就会收到一段语法错误的 JSON,然后开始胡说八道。
这里必须设上限:单个请求的工具参数总量、工具调用个数、以及非流式响应体大小,都要有硬顶。
怎么快速验证多轮翻译是否正确
打印每一轮的完整消息体,肉眼核对结构。只要有一次 assistant 消息缺了 tool_calls,或者 tool 消息缺了 tool_call_id,问题立刻可见。
401 是「你的凭据没通过验证」,403 是「凭据没问题但你不被允许」。
看客户端收到的最后一个 SSE 事件是什么——如果是明确的 error 事件,说明网关做了正确的错误上报;如果是戛然而止,那就是真的断了。
实操:单轮工具调用的最小闭环,先跑通再加 Agent 框架。
在这个循环里加上每轮消息的打印,多轮问题会立刻浮出水面。
import json, os
from openai import OpenAI
client = OpenAI(api_key=os.environ["GATEWAY_API_KEY"],
base_url="https://aiminis.info/v1")
TOOLS = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "查询指定城市的天气",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "杭州今天天气怎么样?"}]
resp = client.chat.completions.create(
model="gpt-6-sol", messages=messages, tools=TOOLS,
)
msg = resp.choices[0].message
if msg.tool_calls:
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = my_weather_func(args["city"]) # 你的业务逻辑
messages.append(msg) # 模型发出的调用
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result, ensure_ascii=False),
})
final = client.chat.completions.create(
model="gpt-6-sol", messages=messages, tools=TOOLS,
)
print(final.choices[0].message.content)
几个容易踩的坑
- 自定义工具没写
properties,模型收到的工具描述是残缺的。 - 工具结果和普通文本混在同一条消息里时,按「一轮只有一个工具」来解析。
- 把工具的原始参数写进请求日志,日志成了数据泄露源。
- 在流式下把分片参数直接拼成字符串当 JSON 解析,遇到被转义的引号就炸。
小结
把可观测性做在前面,后面所有的优化才有依据。
文中的示例接口都可以在 https://aiminis.info/ 上直接验证,用量与额度在用户中心 https://aiminis.info/console 随时可查。
- 点赞
- 收藏
- 关注作者
评论(0)