8.6 万条合成指令跑完只剩 2.9 万:去重砍掉 41%,单条可用成本一毛四

举报
yd_238528621 发表于 2026/11/16 12:38:27 2026/11/16
【摘要】 给客服工单摘要场景做合成数据,8.6 万条候选过五道闸门只剩 28950 条。生成只花 403 元和 4 小时,去重与打分才是成本大头。文中给出温度、Jaccard 阈值、聚类余弦阈值、打分维度与污染检测的具体参数,以及单条 0.0178 元的机器成本和 33.5% 可用率这笔账。

一、先把口径钉死:什么算"一条可用的合成数据"

五道闸门跑完,8.6 万条候选只剩 28950 条。这个 33.5% 的通过率不是意外,管线设计的时候就该预期到,它把一笔账摊得很清楚:合成数据真正的成本不在生成,在筛选。生成 8.6 万条花了 403 元,筛选和打分又花掉 111 元和三个半人日。

开工前把验收口径写死,避免后面各环节各说各话。我们服务的场景是客服工单摘要,模型是 7B,微调目标是让摘要的字段缺失率降下来。

  • 种子池:从 4.2 万条真实工单里人工抽 1200 条,覆盖 9 个意图,每个意图至少 80 条,避免某一类占比过半。
  • 生成器:本地 8 卡部署的 32B 指令模型,temperature 0.9、top_p 0.95,每条种子一次扩 8 条,迭代 9 轮,滚动把上一轮通过筛选的输出当新种子。
  • 可用定义:过五道闸门后仍活着,且能通过人工抽检。我们抽了 300 条,可用率 91%。

二、生成这一步最不值钱:403 元,4 小时 12 分

8 卡跑 32B,实测输出吞吐 2400 token/s,单条平均输出 420 token,8.6 万条一共 3610 万 token,纯生成耗时 4 小时 12 分。按 8 卡每小时 96 元算,403 元。

  • 并行开到 200 路时 GPU 利用率 94%,再往上开到 400 路,利用率只涨 1 个点,队列等待反而变长。
  • 9 轮迭代里有 3 轮的后 20% 样本几乎全是换词。迭代轮数超过 6 轮,边际收益基本归零,这是第一个反直觉的地方。
  • 温度从 0.9 提到 1.1 之后,重复样本占比从 24% 涨到 38%,去重成本跟着涨,总账反而更贵。

三、去重砍掉 41%,这是通过率的第一道大闸

两段式:先 MinHash 做字面近重,再 embedding 聚类做语义近重。

  • MinHash 用 5-gram、Jaccard 阈值 0.8,砍掉 20736 条,占 24%。这批主要是同一指令换了不同语气词。
  • embedding 余弦阈值 0.92 做单链聚类,再砍 14688 条,占 17%。阈值放到 0.95 会放进来一批"同一意图不同实体"的近似样本,训练后模型开始把实体名当变量乱填。
  • 两段合计存活 50976 条,通过率 59%。阈值不是调优出来的,是拿 300 条人工标注的重复对反推的,0.92 在召回和误杀之间刚好。

四、规则过滤与打分:83 元买回 33% 的干净度

规则先过一遍,砍掉 12%:正文短于 40 字、没有动词、出现"作为一个 AI"、输出里带未替换的占位符如 {field}。

剩下 44859 条送强模型按四个维度打分,即字段完整、指令可执行、无幻觉、语言自然,每维 1 到 5 分,总分低于 16 分淘汰。

  • 打分成本:输入 3410 万 token、输出 180 万 token,按外采价算 83 元,耗时 51 分钟。
  • 用生成器自己打分不可行:同一个模型给自家样本打分的均分比人工高 0.7 分,自评偏向明显,我们试了 2000 条就放弃了。
  • 淘汰 15772 条,主要是字段完整度低,以及"看起来合理但结论错"的幻觉样本。

五、污染检测:137 条会把评测结论带偏

拿 8-gram 与线上评测集做重叠检测,命中 137 条,其中 89 条重复 n-gram 占比超过 30%,全部剔除。这一步只花 6 分钟,价值却最高。

  • 137 条里有 11 条几乎逐字命中评测集题目,混进去后验证集指标虚高 2.1 个点。
  • 合成数据的污染来源往往是种子池本身。种子从真实工单里抽,评测集也从真实工单里抽,两者天然同源。
  • 检测放在去重之后做比放在之前便宜得多:样本量已经降到 44859 条,8-gram 建表只用了 6 分钟。

六、把账算完

最终 28950 条可用样本,通过率 33.5%。纯机器成本 514 元,其中生成 403、去重 28、打分 83,单条 0.0178 元;加上数据工程师 3.5 个人日、按 1200 元一人日算,总成本 4714 元,单条 0.163 元。

对比人工标注同口径的 3000 条花了 5.4 万元,单条 18 元。合成数据的单价优势是 110 倍,但可用率只有三分之一,做预算时两个数要一起看,只看单价会低估。

我们的结论是三个条件同时满足才值得上合成:真实数据能抽出稳定的种子池、有字段级的验收口径、评测集与种子池做了污染隔离。缺任何一条,筛出来的东西都只是看起来像训练数据。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。