模型吐字太贵?会“打分”的决策模型更省
背景:当模型只需要“选一个”
这两周开源圈冒出一类挺有意思的小模型:它们不生成句子,只在一组固定选项上给出校准过的概率。比如 Nace AI 的 Drex Max v1(27B,公开报道称可在 Apple 芯片上本地运行)、Baseten 的 joey-1(2B,公开资料称 P50 延迟约 20ms、输入单价约 $0.01/百万 token)。这类模型被叫做 决策模型(decision model)。
和平时用的生成式 LLM 对比一下就清楚了:生成式模型吐的是一个个 token,你得拿文字去解析;决策模型吐的是“在 N 个候选里,每个选项有多大的可能”的分布。一个像在写作文,一个像在做选择题,还顺手给了每道题的把握。
(以上模型参数与性能均来自公开报道,以公开资料为准,本文只借概念。)
做法:用概率做路由
最经典的场景是路由:用户一句话进来,该交给哪个专家 / 工具?用决策模型给每个选项打分,取最高的就完事。核心就是把 raw 分数(logits)过一层 softmax 变成概率:
import numpy as np
# 假设决策模型对 3 个候选动作输出了 raw logits
logits = np.array([2.1, 0.3, -1.4])
# softmax 转成概率分布,这就是“打分”
probs = np.exp(logits) / np.exp(logits).sum()
action_ids = ["查知识库", "调 API", "转人工"]
best = action_ids[int(np.argmax(probs))]
print("各动作概率:", dict(zip(action_ids, np.round(probs, 3))))
print("路由到:", best)
如果你的选项和场景是自己的,也可以用 sklearn 直接训一个:
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(X_train, y_train) # X: 问题特征,y: 该路由到哪类
print(clf.predict_proba(X_new)) # 直接拿校准概率,比“让 LLM 吐字再正则解析”稳
坑:别拿它当万能助手
决策模型只能在给定的选项集里选,不能自由发挥。两个常见坑:
- 选项设计错了就白搭。比如把“转人工”漏掉,模型再准也没法兜底,选项集要覆盖真实路径。
- 概率不一定校准。没校准过的概率不能直接当“置信度”用——看着 0.9 未必真有九成把握。真要拿概率做门槛(低于阈值转人工),先在小样本上校验一下。
另外它干不了“写一段说明”“总结文档”这类生成活,该上 LLM 还得上。
结论:能复用的经验
一句话:当你需要的只是“在固定选项里选 / 打分”(分类、路由、UI 点击、动作选择),先想决策模型,而不是让通用 LLM 吐字再解析。
可复用的套路是把这类需求抽象成「选项集 + 概率输出」:要么用一个开源小决策模型,要么用 sklearn 之类在自己数据上训一个。它小、快、便宜,还能和生成式 LLM 搭着用——先路由,再生成。下次做智能体或客服分流时,这个思路值得先试。
- 点赞
- 收藏
- 关注作者
评论(0)