模型路由:Agent 账单的"交通指挥中心"

举报
wuhongyi1977 发表于 2026/10/21 15:46:23 2026/10/21
【摘要】 引子:Notion 把 Agent 成本打到一折10 月 19 日,Notion 发布第六代 Agent 基础设施,其中 Auto 模型路由器最亮眼:在 20 多个常见任务上效果接近 Opus 5.5 一档前沿模型,成本却低约 90%(Notion 自家测试数据,打对折看依然惊人)。逻辑很直白:按质量、速度、成本的平衡点派单,执行中"卡住"就换模型重路由。为什么路由成了必备品第一,价格梯度巨...

引子:Notion 把 Agent 成本打到一折

10 月 19 日,Notion 发布第六代 Agent 基础设施,其中 Auto 模型路由器最亮眼:在 20 多个常见任务上效果接近 Opus 5.5 一档前沿模型,成本却低约 90%(Notion 自家测试数据,打对折看依然惊人)。逻辑很直白:按质量、速度、成本的平衡点派单,执行中"卡住"就换模型重路由。

为什么路由成了必备品

第一,价格梯度巨大。 前沿模型与轻量模型的 token 单价差可达几十倍。用最强模型做"翻译这句话",等于用跑车送外卖。

第二,任务分布是长尾的。 真实流量里简单、模式化的请求占绝大多数,真正需要顶级推理的只是一小撮。

第三,Agent 把 token 消耗放大了一个数量级。 "规划—调工具—看结果—再规划"的循环里,多步试错、长上下文、失败重试层层叠加,单任务 token 可达单轮问答的数倍到数十倍。没有路由层,长任务在经济上根本跑不起来。

四种主流路由策略

1. 静态规则路由。 按任务打标签分流:分类摘要走轻量模型,深度分析走强模型。零成本、行为确定;缺点是粗糙,规则写多会失控。

2. 级联路由(Cascade)。 代表作是斯坦福 2023 年的 FrugalGPT:先让便宜模型答,判别器(规则或 LLM-as-judge)评估不达标就升级重试。精髓在判别器——判得准又省又好,判不准反而比直用强模型更贵。

3. 学习型路由器。 训一个轻量模型预测各候选模型在该题上的表现,按"质量—成本"目标选最优(Martian 2024)。难点不在算法而在数据:离线表现矩阵的质量取决于评估集是否贴近真实流量。路由器的上限,永远是评估数据的上限。

4. 运行时重路由。 Notion Auto 的新意是把路由延伸到执行中:长任务难度分布不均,入口决策会过期。要解两个子问题——停滞检测(区分"卡住"和"深思")与状态迁移(换模型时上下文、工具历史能否平滑交接)。这是目前工程水位最深的一层。

关键取舍:路由不是免费午餐

  • 路由器自身有成本。 学习型 router 每次多一次小模型推理,级联误判升级反而更贵。
  • 流量漂移让 router 慢性失效。 用户用法会变,调好的路由几个月后可能系统性选错,必须建采样—标注—重训的回流机制。
  • 选错代价不对称。 难题分给弱模型等于任务失败,简单题分给强模型只是多花钱。所以优化目标永远是"质量损失可控下最小化成本"。
  • 可观测性是生命线。 每个请求须能回答"为什么选这个模型",否则质量事故连归因都做不到。

落地五步

  1. 建黄金评估集:真实流量采样、人工标注质量——这是地基。
  2. 离线仿真画 Pareto 前沿:横轴成本、纵轴质量,找到可接受的拐点再上线。
  3. 从静态规则起步:先吃掉 70% 简单流量,再上学习型 router。
  4. 影子流量先行:router 先只打分不决策,对比验证两周再接管流量。
  5. 监控漂移与降级率:路由分布漂移、被重路由/升级的比例。

结语:路由层正在成为标准件

模型路由正从"省钱技巧"变成 Agent 基础设施的标准层,如同 CDN 之于静态资源。供给越碎片化,调度层价值越大。

反直觉的是:真正的护城河不是 router 算法,而是贴近你自身流量的评估数据。 论文人人可读,这份数据只有你有。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。