数据库清洗产线的 Skill 化:台账驱动、小并发分批与三道门禁
为什么要做这件事
本地数据库项目里,同样的流程反复出现:从源站收集数据入库、把待判定的大批量数据切小份派给模型智能体裁决、校验后合并回库、最后整理归位与性能优化。每次新开会话都要把这套规矩重新交代一遍,漏一条就返工——并发开太高把接口打挂、判定结果格式五花八门没法合并、手工对账对到眼花。于是把这些执行框架沉淀成一个可复用的 Skill(agent 技能文档),新会话命中触发词即自动加载。
产线分段与两本台账
整个产线分七段:采集(源站到 raw 层,断点续采)→ 抽取(源库只读,按主键维度切 unit)→ 派发(小并发分批给 API 智能体)→ 校验(schema/引用/覆盖三闸门禁)→ 合并(事务写库+台账推进)→ 抽审(每批 5% 交叉复核)→ 应用(构建期集成)。
关键设计是两本台账各管一段:采集台账记录每个采集单元的断点状态,判定台账 work_ledger 记录每个判定单元 pending/dispatched/done/failed/dead 的状态机。任何 worker 幂等领取,崩溃或跨会话续跑零损失——这是「禁手工对账」的底气。判定结果还附带内容哈希,重抽后内容漂移的旧判定会被门禁拒绝,杜绝同 id 旧结果静默合并。
并发纪律
默认 3–5 路分批,10 路是硬上限(须当次显式批准),永不压测。一 unit 一智能体:spawn 成本固定,摊到整 unit 才划算。结果只落盘、回执一行(DONE|unit_id|judged=N|uncertain=M),严禁把报告灌回主会话——这一条让上下文长度从爆炸变成了常数。
三道闸
第一道,禁猜契约:判定契约用固定模板,verdict 是闭合枚举;模型不确定时必须显式给 cannot_resolve 且 keep/drop 为空——未裁决不等于可删。第二道,脚本门禁:合并前必过 JSON schema、组覆盖、引用合法性、值域校验;校验器先做阳性自测,喂已知坏例确认会被拒,恒绿的校验等于没有。第三道,抽样加独立审:每批抽 5% 交叉复核,一致率低于 0.95 整批打回;收官再交一次独立的外部审核。
落地与验证
Skill 不是写完就算:跑了三轮独立回归(greenfield 新库场景从零执行),验证指标是「新会话只凭文档即可正确执行」;另配一键体检脚本,把 schema 漂移抓逃逸、关键查询禁全表扫描、冷查询耗时门禁做成 block 全绿才过,可以直接挂进工作流当门禁。多会话并行写库的场景也沉淀了所有权矩阵与合并门禁手册。
一点心得:流程知识放在会话记忆里最不可靠,固化成文档加脚本,让规矩在代码里长着腿——新会话开箱即用,中断续跑不用人守。
- 点赞
- 收藏
- 关注作者
评论(0)