「并行能快点」,是最贵的错觉
系列第 04 篇 · 治理根因 3/8
抓一本几十章的书,一章一章地来,太慢——这个念头,是我们犯过最贵的错。
「一章章抓太慢」,于是我们并行了
场景很简单:一本书几十上百章,工具一次只抓一章,抓完还要逐章验证。看着进度条一章章地爬,人很难不冒出一个念头——
「为什么不能一次开好几个,并行抓?那不是快好几倍吗?」
这个念头,我们不仅动过,还真正执行了三种形式:
- 真并行:在一个回复里同时发起多条抓取命令,多个进程同时操作同一本书;
for循环:写个循环一口气抓完所有章,串行执行,但跳过了「第 N 章验证通过才抓第 N+1 章」的闭环;- 一个命令多章:直接传
--chapters 18-60,一个命令抓几十章——这一种已经被前面的参数治理堵住了。
三种形式危害各不相同:真并行会踩坏共享状态(checkpoint 并发写覆盖),for 循环跳过逐章验证(量上去了质全丢了),一个命令多章则是参数治理的范畴。但它们的共同点是一样的:都绕过了「抓一章、验一章、再抓下一章」这个唯一的质检闭环。
「快」没赚到,反而倒贴了几倍的时间。
为什么「并行」在这里是自掘坟墓
冷静下来想,这件事之所以错,不是因为「并行」本身有罪,而是因为它踩中了这个项目特有的三根红线:
第一,每章抓完必须验证。 这是铁律。并行意味着「这一章还没验证,下一章已经开抓了」,等于把「逐章闭环」这个唯一的质检环节彻底跳过。量上去了,质全丢了。
第二,抓取是「有状态」的。 每抓一章都会写进度 checkpoint,如果多个进程同时读写同一个 checkpoint 文件,就会并发写坏——轻则进度丢失,重则整个断点续传失效。
第三,登录态和浏览器是共享的。 多个抓取实例抢同一个登录态、同一批浏览器资源,互相干扰,甚至触发平台的异常检测。
所以「并行更快」在这里是个彻头彻尾的错觉:它省下的那点时间,远不够填补「返工」和「重抓」挖下的坑。
说句更具体的话:并行也许能让你「感觉上」快了 3 倍,但只要其中一批章节因为串号、空章、checkpoint 写坏而需要重抓,你就要把「快出来的那点」再原样吐回去,还附带一次「为什么当初要并行」的自我怀疑。
根因:串行要求靠「自律」,而不是「机制」
为什么这样的错误会发生两次?因为在此之前,「串行抓取」这条规则,只存在于文档里,靠人的自觉去遵守。
你想想看:规则写在 WIKI 里说「禁止并行」,但机器层面没有任何东西阻止你并行——你可以开十个终端窗口同时跑十个抓取命令,程序完全不会拦你,甚至会「正常」地收下这十个任务,然后互相踩。
靠自觉的规则,必然被「效率」这个念头击穿。 尤其是当你深夜赶进度,脑子里全是「这么慢要抓到什么时候」的时候,自律是最靠不住的东西。
更可怕的是,这种错会犯第二次。第一次并行闯祸之后,我们开了会、写了检讨、把「禁止并行」四个字加粗写进了规则。但没过几天,那个 for 循环又出现了。为什么?因为规则没变,只是提醒自己「下次注意」——而「注意」在赶进度的时候,永远是第一个被牺牲的。这也正是我们后来决定「用代码焊死」的转折点:不能指望人,就只能指望机器。
我们把「串行」做成了硬件
于是我们不再讲道理,而是直接用代码把它焊死:
- 单章锁(P1’):抓取启动时,先创建一个锁文件,写上自己的进程号、书名、章节、时间戳。如果发现锁文件存在、且对应进程还活着,就直接报错退出:「已有抓取正在运行,请等它完成」。进程死了就清理锁继续。这样,第二个人再想并行,连门都进不去。
- 原子写入(P2’):checkpoint 写入改成「先写临时文件、再原子替换」,从根上杜绝并发写坏的隐患。
- 响应级检测(P3’):就算有人绕过锁,同时发起多个命令,第二个也会因为锁存在而当场报错,而不是默默排队或「各跑各的」。
- 单章验证入口(P4’):新增一个「单章闭环验证」模式,验证通过才输出
✅ 第 N 章通过,没通过就exit 1,逼着你一章章真正走完。
核心思想就一句话:把「串行」从一句口号,变成一个物理上无法绕过的闸。 想并行?代码会直接把你挡在门外。
可复用经验
- 「更快」是工程上最贵的诱饵。 任何以牺牲「验证」为代价的提速,最终都会以更慢的返工还回来。
- 靠自觉的规则,等于没有规则。 真正有效的约束,是让错误操作「物理上做不成」。
- 并发写共享状态,是隐形的坑。 以为「各跑各的没事」,其实 checkpoint、登录态、浏览器全是共享的雷。
- 锁文件是「强制串行」最便宜的手段。 一个 PID + 存在性检查,就能挡住大多数并行冲动。
下一篇,聊聊一个更微妙、也更普遍的现象:AI 帮你写代码的时候,也会「顺手」帮你偷懒。
下一篇预告:《AI 也会偷懒:分析报告只剩一句「记录继续」》
- 点赞
- 收藏
- 关注作者
评论(0)