8.6 万条合成指令跑完只剩 2.9 万:去重砍掉 41%,单条可用成本一毛四
一、先把口径钉死:什么算"一条可用的合成数据"
五道闸门跑完,8.6 万条候选只剩 28950 条。这个 33.5% 的通过率不是意外,管线设计的时候就该预期到,它把一笔账摊得很清楚:合成数据真正的成本不在生成,在筛选。生成 8.6 万条花了 403 元,筛选和打分又花掉 111 元和三个半人日。
开工前把验收口径写死,避免后面各环节各说各话。我们服务的场景是客服工单摘要,模型是 7B,微调目标是让摘要的字段缺失率降下来。
- 种子池:从 4.2 万条真实工单里人工抽 1200 条,覆盖 9 个意图,每个意图至少 80 条,避免某一类占比过半。
- 生成器:本地 8 卡部署的 32B 指令模型,temperature 0.9、top_p 0.95,每条种子一次扩 8 条,迭代 9 轮,滚动把上一轮通过筛选的输出当新种子。
- 可用定义:过五道闸门后仍活着,且能通过人工抽检。我们抽了 300 条,可用率 91%。
二、生成这一步最不值钱:403 元,4 小时 12 分
8 卡跑 32B,实测输出吞吐 2400 token/s,单条平均输出 420 token,8.6 万条一共 3610 万 token,纯生成耗时 4 小时 12 分。按 8 卡每小时 96 元算,403 元。
- 并行开到 200 路时 GPU 利用率 94%,再往上开到 400 路,利用率只涨 1 个点,队列等待反而变长。
- 9 轮迭代里有 3 轮的后 20% 样本几乎全是换词。迭代轮数超过 6 轮,边际收益基本归零,这是第一个反直觉的地方。
- 温度从 0.9 提到 1.1 之后,重复样本占比从 24% 涨到 38%,去重成本跟着涨,总账反而更贵。
三、去重砍掉 41%,这是通过率的第一道大闸
两段式:先 MinHash 做字面近重,再 embedding 聚类做语义近重。
- MinHash 用 5-gram、Jaccard 阈值 0.8,砍掉 20736 条,占 24%。这批主要是同一指令换了不同语气词。
- embedding 余弦阈值 0.92 做单链聚类,再砍 14688 条,占 17%。阈值放到 0.95 会放进来一批"同一意图不同实体"的近似样本,训练后模型开始把实体名当变量乱填。
- 两段合计存活 50976 条,通过率 59%。阈值不是调优出来的,是拿 300 条人工标注的重复对反推的,0.92 在召回和误杀之间刚好。
四、规则过滤与打分:83 元买回 33% 的干净度
规则先过一遍,砍掉 12%:正文短于 40 字、没有动词、出现"作为一个 AI"、输出里带未替换的占位符如 {field}。
剩下 44859 条送强模型按四个维度打分,即字段完整、指令可执行、无幻觉、语言自然,每维 1 到 5 分,总分低于 16 分淘汰。
- 打分成本:输入 3410 万 token、输出 180 万 token,按外采价算 83 元,耗时 51 分钟。
- 用生成器自己打分不可行:同一个模型给自家样本打分的均分比人工高 0.7 分,自评偏向明显,我们试了 2000 条就放弃了。
- 淘汰 15772 条,主要是字段完整度低,以及"看起来合理但结论错"的幻觉样本。
五、污染检测:137 条会把评测结论带偏
拿 8-gram 与线上评测集做重叠检测,命中 137 条,其中 89 条重复 n-gram 占比超过 30%,全部剔除。这一步只花 6 分钟,价值却最高。
- 137 条里有 11 条几乎逐字命中评测集题目,混进去后验证集指标虚高 2.1 个点。
- 合成数据的污染来源往往是种子池本身。种子从真实工单里抽,评测集也从真实工单里抽,两者天然同源。
- 检测放在去重之后做比放在之前便宜得多:样本量已经降到 44859 条,8-gram 建表只用了 6 分钟。
六、把账算完
最终 28950 条可用样本,通过率 33.5%。纯机器成本 514 元,其中生成 403、去重 28、打分 83,单条 0.0178 元;加上数据工程师 3.5 个人日、按 1200 元一人日算,总成本 4714 元,单条 0.163 元。
对比人工标注同口径的 3000 条花了 5.4 万元,单条 18 元。合成数据的单价优势是 110 倍,但可用率只有三分之一,做预算时两个数要一起看,只看单价会低估。
我们的结论是三个条件同时满足才值得上合成:真实数据能抽出稳定的种子池、有字段级的验收口径、评测集与种子池做了污染隔离。缺任何一条,筛出来的东西都只是看起来像训练数据。
- 点赞
- 收藏
- 关注作者
评论(0)