Agent 工具调用的安全边界：从权限最小化到人机确认

Agent 真正进入生产环境后，风险往往不在模型“会不会回答”，而在它能调用哪些工具、能拿到什么权限，以及出了问题能否追溯和回滚。本文结合公开研究与开发者文档，整理一套面向工具调用的安全边界设计方法。

一、先把工具调用写成可审计的契约
不要把工具当作一个模糊的函数。每个工具都应明确输入字段、输出结构、允许访问的资源范围、调用者身份和失败语义，并用白名单限制可用工具。对文件、数据库、网络请求等资源，优先使用最小权限；例如只授予某个目录的读取权，而不是整台机器的访问权。工具返回值也应做长度、类型和敏感字段校验，避免把未经处理的内容直接拼接进后续提示词。

二、为每一次执行留下事件链
Agent 的日志不应只有最终答案，还应记录任务标识、模型版本、提示版本、工具名称、参数摘要、授权范围、结果摘要、耗时和错误码。参数中的密码、令牌和个人数据要脱敏。这样既能定位一次错误调用，也方便重放关键轨迹，比较策略修改前后的差异。对于重复执行可能产生副作用的工具，应设计幂等键，避免网络重试造成重复写入。

三、把高风险动作交给人确认
读取公开资料通常可以自动完成，但发送邮件、删除数据、发布内容、改变权限等动作应进入风险分级流程。低风险操作可以自动放行；中风险操作需要更严格的策略检查；高风险操作在真正执行前展示目标、参数和影响范围，由人确认。确认要绑定到具体动作和短时有效的授权，不能用一次泛化同意覆盖所有未来操作。

四、把外部内容视为不可信输入
网页、文档和工具返回值可能包含试图改变 Agent 行为的提示注入。处理外部内容时，应把“数据”和“指令”分开：只提取任务需要的字段，限制其进入系统提示或工具参数的路径，并对异常指令、越权请求和编码混淆做检测。Anthropic 关于浏览器使用的研究强调，应持续降低提示注入导致越权操作的概率，而不是假设模型永远能自行识别恶意文本。

五、准备回滚与最小化失败范围
工具调用前先进行参数校验和权限检查，调用后验证状态；对可撤销操作保留回滚信息，对不可撤销操作设置二次确认或沙箱。失败时只重试安全、幂等的步骤，并把上下文截断到必要范围，避免错误结果在长链路中不断扩散。

六、一个可复用的执行顺序
可以将流程固定为：识别意图 → 选择白名单工具 → 校验参数与权限 → 记录审计事件 → 执行或请求人机确认 → 验证结果 → 保存轨迹与回滚信息。OpenAI 的开发者快速入门展示了以清晰请求和结构化调用为基础的集成方式；Anthropic 对 Agent 自主性的测量则提醒我们，评估不应只看答案质量，还要观察工具链中的实际行为和人工介入点。

结语
安全边界不是给 Agent 套上一层静态限制，而是把权限、审计、确认、注入防护和回滚组合成一条可验证的执行链。先从少量白名单工具开始，再通过轨迹回放和风险指标逐步扩展，通常比一次性开放所有能力更稳妥。

参考来源（均为公开资料的中文改写）：
1. Anthropic，《Mitigating the risk of prompt injections in browser use》：https://www.anthropic.com/research/prompt-injection-defenses
2. OpenAI，《Developer quickstart》：https://platform.openai.com/docs/quickstart/make-your-first-api-request
3. Anthropic，《Measuring AI agent autonomy in practice》：https://www.anthropic.com/research/measuring-agent-autonomy