模型路由:Agent 账单的"交通指挥中心"
引子:Notion 把 Agent 成本打到一折
10 月 19 日,Notion 发布第六代 Agent 基础设施,其中 Auto 模型路由器最亮眼:在 20 多个常见任务上效果接近 Opus 5.5 一档前沿模型,成本却低约 90%(Notion 自家测试数据,打对折看依然惊人)。逻辑很直白:按质量、速度、成本的平衡点派单,执行中"卡住"就换模型重路由。
为什么路由成了必备品
第一,价格梯度巨大。 前沿模型与轻量模型的 token 单价差可达几十倍。用最强模型做"翻译这句话",等于用跑车送外卖。
第二,任务分布是长尾的。 真实流量里简单、模式化的请求占绝大多数,真正需要顶级推理的只是一小撮。
第三,Agent 把 token 消耗放大了一个数量级。 "规划—调工具—看结果—再规划"的循环里,多步试错、长上下文、失败重试层层叠加,单任务 token 可达单轮问答的数倍到数十倍。没有路由层,长任务在经济上根本跑不起来。
四种主流路由策略
1. 静态规则路由。 按任务打标签分流:分类摘要走轻量模型,深度分析走强模型。零成本、行为确定;缺点是粗糙,规则写多会失控。
2. 级联路由(Cascade)。 代表作是斯坦福 2023 年的 FrugalGPT:先让便宜模型答,判别器(规则或 LLM-as-judge)评估不达标就升级重试。精髓在判别器——判得准又省又好,判不准反而比直用强模型更贵。
3. 学习型路由器。 训一个轻量模型预测各候选模型在该题上的表现,按"质量—成本"目标选最优(Martian 2024)。难点不在算法而在数据:离线表现矩阵的质量取决于评估集是否贴近真实流量。路由器的上限,永远是评估数据的上限。
4. 运行时重路由。 Notion Auto 的新意是把路由延伸到执行中:长任务难度分布不均,入口决策会过期。要解两个子问题——停滞检测(区分"卡住"和"深思")与状态迁移(换模型时上下文、工具历史能否平滑交接)。这是目前工程水位最深的一层。
关键取舍:路由不是免费午餐
- 路由器自身有成本。 学习型 router 每次多一次小模型推理,级联误判升级反而更贵。
- 流量漂移让 router 慢性失效。 用户用法会变,调好的路由几个月后可能系统性选错,必须建采样—标注—重训的回流机制。
- 选错代价不对称。 难题分给弱模型等于任务失败,简单题分给强模型只是多花钱。所以优化目标永远是"质量损失可控下最小化成本"。
- 可观测性是生命线。 每个请求须能回答"为什么选这个模型",否则质量事故连归因都做不到。
落地五步
- 建黄金评估集:真实流量采样、人工标注质量——这是地基。
- 离线仿真画 Pareto 前沿:横轴成本、纵轴质量,找到可接受的拐点再上线。
- 从静态规则起步:先吃掉 70% 简单流量,再上学习型 router。
- 影子流量先行:router 先只打分不决策,对比验证两周再接管流量。
- 监控漂移与降级率:路由分布漂移、被重路由/升级的比例。
结语:路由层正在成为标准件
模型路由正从"省钱技巧"变成 Agent 基础设施的标准层,如同 CDN 之于静态资源。供给越碎片化,调度层价值越大。
反直觉的是:真正的护城河不是 router 算法,而是贴近你自身流量的评估数据。 论文人人可读,这份数据只有你有。
- 点赞
- 收藏
- 关注作者
评论(0)