数据库清洗产线的 Skill 化:台账驱动、小并发分批与三道门禁

举报
yd_257427043 发表于 2026/11/15 15:19:32 2026/11/15
【摘要】 把本地数据库项目里反复出现的收集入库、清洗判定、合并校验流程沉淀成可复用的 agent 技能:产线分段+两本台账(幂等续跑零损失)+小并发纪律+三道门禁,三轮独立回归验证「新会话只凭文档即可正确执行」。

为什么要做这件事

本地数据库项目里,同样的流程反复出现:从源站收集数据入库、把待判定的大批量数据切小份派给模型智能体裁决、校验后合并回库、最后整理归位与性能优化。每次新开会话都要把这套规矩重新交代一遍,漏一条就返工——并发开太高把接口打挂、判定结果格式五花八门没法合并、手工对账对到眼花。于是把这些执行框架沉淀成一个可复用的 Skill(agent 技能文档),新会话命中触发词即自动加载。

产线分段与两本台账

整个产线分七段:采集(源站到 raw 层,断点续采)→ 抽取(源库只读,按主键维度切 unit)→ 派发(小并发分批给 API 智能体)→ 校验(schema/引用/覆盖三闸门禁)→ 合并(事务写库+台账推进)→ 抽审(每批 5% 交叉复核)→ 应用(构建期集成)。

关键设计是两本台账各管一段:采集台账记录每个采集单元的断点状态,判定台账 work_ledger 记录每个判定单元 pending/dispatched/done/failed/dead 的状态机。任何 worker 幂等领取,崩溃或跨会话续跑零损失——这是「禁手工对账」的底气。判定结果还附带内容哈希,重抽后内容漂移的旧判定会被门禁拒绝,杜绝同 id 旧结果静默合并。

并发纪律

默认 3–5 路分批,10 路是硬上限(须当次显式批准),永不压测。一 unit 一智能体:spawn 成本固定,摊到整 unit 才划算。结果只落盘、回执一行(DONE|unit_id|judged=N|uncertain=M),严禁把报告灌回主会话——这一条让上下文长度从爆炸变成了常数。

三道闸

第一道,禁猜契约:判定契约用固定模板,verdict 是闭合枚举;模型不确定时必须显式给 cannot_resolve 且 keep/drop 为空——未裁决不等于可删。第二道,脚本门禁:合并前必过 JSON schema、组覆盖、引用合法性、值域校验;校验器先做阳性自测,喂已知坏例确认会被拒,恒绿的校验等于没有。第三道,抽样加独立审:每批抽 5% 交叉复核,一致率低于 0.95 整批打回;收官再交一次独立的外部审核。

落地与验证

Skill 不是写完就算:跑了三轮独立回归(greenfield 新库场景从零执行),验证指标是「新会话只凭文档即可正确执行」;另配一键体检脚本,把 schema 漂移抓逃逸、关键查询禁全表扫描、冷查询耗时门禁做成 block 全绿才过,可以直接挂进工作流当门禁。多会话并行写库的场景也沉淀了所有权矩阵与合并门禁手册。

一点心得:流程知识放在会话记忆里最不可靠,固化成文档加脚本,让规矩在代码里长着腿——新会话开箱即用,中断续跑不用人守。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。