模型吐字太贵?会“打分”的决策模型更省

举报
yd_218054167 发表于 2026/11/05 09:07:20 2026/11/05
【摘要】 最近开源圈冒出一批只输出概率、不做生成的“决策模型”,专门干路由、分类、点击这类“做选择”的活。本文讲清它是什么、和普通 LLM 差在哪,并给一段最小可跑示例。

背景:当模型只需要“选一个”

这两周开源圈冒出一类挺有意思的小模型:它们不生成句子,只在一组固定选项上给出校准过的概率。比如 Nace AI 的 Drex Max v1(27B,公开报道称可在 Apple 芯片上本地运行)、Baseten 的 joey-1(2B,公开资料称 P50 延迟约 20ms、输入单价约 $0.01/百万 token)。这类模型被叫做 决策模型(decision model)。

和平时用的生成式 LLM 对比一下就清楚了:生成式模型吐的是一个个 token,你得拿文字去解析;决策模型吐的是“在 N 个候选里,每个选项有多大的可能”的分布。一个像在写作文,一个像在做选择题,还顺手给了每道题的把握。

(以上模型参数与性能均来自公开报道,以公开资料为准,本文只借概念。)

做法:用概率做路由

最经典的场景是路由:用户一句话进来,该交给哪个专家 / 工具?用决策模型给每个选项打分,取最高的就完事。核心就是把 raw 分数(logits)过一层 softmax 变成概率:

import numpy as np

# 假设决策模型对 3 个候选动作输出了 raw logits
logits = np.array([2.1, 0.3, -1.4])

# softmax 转成概率分布,这就是“打分”
probs = np.exp(logits) / np.exp(logits).sum()
action_ids = ["查知识库", "调 API", "转人工"]
best = action_ids[int(np.argmax(probs))]

print("各动作概率:", dict(zip(action_ids, np.round(probs, 3))))
print("路由到:", best)

如果你的选项和场景是自己的,也可以用 sklearn 直接训一个:

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X_train, y_train)          # X: 问题特征,y: 该路由到哪类
print(clf.predict_proba(X_new))    # 直接拿校准概率,比“让 LLM 吐字再正则解析”稳

坑:别拿它当万能助手

决策模型只能在给定的选项集里选,不能自由发挥。两个常见坑:

  1. 选项设计错了就白搭。比如把“转人工”漏掉,模型再准也没法兜底,选项集要覆盖真实路径。
  2. 概率不一定校准。没校准过的概率不能直接当“置信度”用——看着 0.9 未必真有九成把握。真要拿概率做门槛(低于阈值转人工),先在小样本上校验一下。

另外它干不了“写一段说明”“总结文档”这类生成活,该上 LLM 还得上。

结论:能复用的经验

一句话:当你需要的只是“在固定选项里选 / 打分”(分类、路由、UI 点击、动作选择),先想决策模型,而不是让通用 LLM 吐字再解析。

可复用的套路是把这类需求抽象成「选项集 + 概率输出」:要么用一个开源小决策模型,要么用 sklearn 之类在自己数据上训一个。它小、快、便宜,还能和生成式 LLM 搭着用——先路由,再生成。下次做智能体或客服分流时,这个思路值得先试。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。