「并行能快点」,是最贵的错觉

举报
yd_275474346 发表于 2026/11/12 20:15:35 2026/11/12
【摘要】 系列第 04 篇 · 治理根因 3/8抓一本几十章的书,一章一章地来,太慢——这个念头,是我们犯过最贵的错。 「一章章抓太慢」,于是我们并行了场景很简单:一本书几十上百章,工具一次只抓一章,抓完还要逐章验证。看着进度条一章章地爬,人很难不冒出一个念头——「为什么不能一次开好几个,并行抓?那不是快好几倍吗?」这个念头,我们不仅动过,还真正执行了三种形式:真并行:在一个回复里同时发起多条抓取命令...

系列第 04 篇 · 治理根因 3/8
抓一本几十章的书,一章一章地来,太慢——这个念头,是我们犯过最贵的错。


「一章章抓太慢」,于是我们并行了

场景很简单:一本书几十上百章,工具一次只抓一章,抓完还要逐章验证。看着进度条一章章地爬,人很难不冒出一个念头——

「为什么不能一次开好几个,并行抓?那不是快好几倍吗?」

这个念头,我们不仅动过,还真正执行了三种形式:

  • 真并行:在一个回复里同时发起多条抓取命令,多个进程同时操作同一本书;
  • for 循环:写个循环一口气抓完所有章,串行执行,但跳过了「第 N 章验证通过才抓第 N+1 章」的闭环;
  • 一个命令多章:直接传 --chapters 18-60,一个命令抓几十章——这一种已经被前面的参数治理堵住了。

三种形式危害各不相同:真并行会踩坏共享状态(checkpoint 并发写覆盖),for 循环跳过逐章验证(量上去了质全丢了),一个命令多章则是参数治理的范畴。但它们的共同点是一样的:都绕过了「抓一章、验一章、再抓下一章」这个唯一的质检闭环。

「快」没赚到,反而倒贴了几倍的时间。

为什么「并行」在这里是自掘坟墓

冷静下来想,这件事之所以错,不是因为「并行」本身有罪,而是因为它踩中了这个项目特有的三根红线:

第一,每章抓完必须验证。 这是铁律。并行意味着「这一章还没验证,下一章已经开抓了」,等于把「逐章闭环」这个唯一的质检环节彻底跳过。量上去了,质全丢了。

第二,抓取是「有状态」的。 每抓一章都会写进度 checkpoint,如果多个进程同时读写同一个 checkpoint 文件,就会并发写坏——轻则进度丢失,重则整个断点续传失效。

第三,登录态和浏览器是共享的。 多个抓取实例抢同一个登录态、同一批浏览器资源,互相干扰,甚至触发平台的异常检测。

所以「并行更快」在这里是个彻头彻尾的错觉:它省下的那点时间,远不够填补「返工」和「重抓」挖下的坑。

说句更具体的话:并行也许能让你「感觉上」快了 3 倍,但只要其中一批章节因为串号、空章、checkpoint 写坏而需要重抓,你就要把「快出来的那点」再原样吐回去,还附带一次「为什么当初要并行」的自我怀疑。

根因:串行要求靠「自律」,而不是「机制」

为什么这样的错误会发生两次?因为在此之前,「串行抓取」这条规则,只存在于文档里,靠人的自觉去遵守。

你想想看:规则写在 WIKI 里说「禁止并行」,但机器层面没有任何东西阻止你并行——你可以开十个终端窗口同时跑十个抓取命令,程序完全不会拦你,甚至会「正常」地收下这十个任务,然后互相踩。

靠自觉的规则,必然被「效率」这个念头击穿。 尤其是当你深夜赶进度,脑子里全是「这么慢要抓到什么时候」的时候,自律是最靠不住的东西。

更可怕的是,这种错会犯第二次。第一次并行闯祸之后,我们开了会、写了检讨、把「禁止并行」四个字加粗写进了规则。但没过几天,那个 for 循环又出现了。为什么?因为规则没变,只是提醒自己「下次注意」——而「注意」在赶进度的时候,永远是第一个被牺牲的。这也正是我们后来决定「用代码焊死」的转折点:不能指望人,就只能指望机器。

我们把「串行」做成了硬件

于是我们不再讲道理,而是直接用代码把它焊死:

  1. 单章锁(P1’):抓取启动时,先创建一个锁文件,写上自己的进程号、书名、章节、时间戳。如果发现锁文件存在、且对应进程还活着,就直接报错退出:「已有抓取正在运行,请等它完成」。进程死了就清理锁继续。这样,第二个人再想并行,连门都进不去。
  2. 原子写入(P2’):checkpoint 写入改成「先写临时文件、再原子替换」,从根上杜绝并发写坏的隐患。
  3. 响应级检测(P3’):就算有人绕过锁,同时发起多个命令,第二个也会因为锁存在而当场报错,而不是默默排队或「各跑各的」。
  4. 单章验证入口(P4’):新增一个「单章闭环验证」模式,验证通过才输出 ✅ 第 N 章通过,没通过就 exit 1,逼着你一章章真正走完。

核心思想就一句话:把「串行」从一句口号,变成一个物理上无法绕过的闸。 想并行?代码会直接把你挡在门外。

可复用经验

  1. 「更快」是工程上最贵的诱饵。 任何以牺牲「验证」为代价的提速,最终都会以更慢的返工还回来。
  2. 靠自觉的规则,等于没有规则。 真正有效的约束,是让错误操作「物理上做不成」。
  3. 并发写共享状态,是隐形的坑。 以为「各跑各的没事」,其实 checkpoint、登录态、浏览器全是共享的雷。
  4. 锁文件是「强制串行」最便宜的手段。 一个 PID + 存在性检查,就能挡住大多数并行冲动。

下一篇,聊聊一个更微妙、也更普遍的现象:AI 帮你写代码的时候,也会「顺手」帮你偷懒。


下一篇预告:《AI 也会偷懒:分析报告只剩一句「记录继续」》

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。