能跑的爬虫,为什么越改越烂?

举报
yd_275474346 发表于 2026/11/09 15:53:32 2026/11/09
【摘要】 能跑的爬虫,为什么越改越烂?系列第 01 篇 · 总纲技术 4 天跑通,工程却反复翻车。这篇先讲清楚:崩在哪,以及我们靠什么救回来。 一个「技术全对」的项目,怎么还会崩?先说结论:这个项目的所有技术难题,4 天就全解决了。我们要做一个电子书抓取工具,把某头部电子书阅读产品里的书,抓成本地的 Markdown。真正的硬骨头是反爬——正文不是放在 DOM 里的,而是用 <canvas> 一笔一...

能跑的爬虫,为什么越改越烂?

系列第 01 篇 · 总纲
技术 4 天跑通,工程却反复翻车。这篇先讲清楚:崩在哪,以及我们靠什么救回来。


一个「技术全对」的项目,怎么还会崩?

先说结论:这个项目的所有技术难题,4 天就全解决了。

我们要做一个电子书抓取工具,把某头部电子书阅读产品里的书,抓成本地的 Markdown。真正的硬骨头是反爬——正文不是放在 DOM 里的,而是用 <canvas> 一笔一笔画出来的;更狠的是,画字的字体编码还被混淆了,直接拿到的字符全是乱码(U+FFFD)。

我们怎么破的?四层递进:

  1. 拦截 fillText,拿到 canvas 画的每一段字;
  2. 找到一个隐藏的章节内容接口,返回 Base64 编码的原始正文;
  3. hook 住 innerHTML,拿到浏览器已经解码好的 HTML;
  4. 发现正文里有个「字符偏移量」属性,按它排序 + 句子级去重。

第四天,第一本书 45 章全部抓完:0 乱码、0 重复、图片位置全对。那一刻我挺得意的——最难的都搞定了,后面还不是顺水推舟?

结果,接下来的日子,同一个项目翻车了一次又一次。而这些坑,没有一条跟「反爬」有关。

工程翻了两次车,一次比一次狠

回头把整个项目的翻车记录过了一遍,发现它大致分成两个阶段。

第一次翻车,发生在「早熟」的阶段。

那时候工具刚跑通,人特别飘,觉得「改个阈值」「加个补丁」都是小事,于是:

  • 5 次没评审就改代码,把已经验证通过的版本改崩了;
  • 改完不回归验证就继续,等发现时,备份的旧内容居然比新版本还完整;
  • 一个参数写漏了别名,静默回落到默认值 all,于是某个晚上「顺手」把一本书几十章全量抓了;
  • 为了「快」,一个回复里并行发了多个抓取命令,还用 for 循环批量抓多章。

这一阶段的教训,浓缩成一句话:改代码的门槛,几乎为零。

第二次翻车,发生在「越改越乱」的修复阶段。

工具要包装成桌面应用(exe),顺带升级抓取核心。结果:

  • exe 一启动就静默崩溃,查了半天,坏的居然是打包环境,不是代码;
  • 升级抓取核心只测了「搜索」,漏测了「抓取」,上线才发现核心功能坏了;
  • 最狠的是一次「内容混入」:抓出来的每一章正文里,都混进了版权页和前言。

为了修这个「混入」,我们连着改了 10 个提交。结果你猜怎么着?每一次修复,都在另一个地方开出新的口子:修好了「混入」,正文就分段错误;修好了分段,图片又丢了;修好了图片,结尾开始冒出 HTML 碎片。十个提交排下来,像在打地鼠,越打越多。

改到最后,我做了个决定:把这 10 次改动全部扔了,回退到上一个验证通过的基线。

救了我们命的两样东西

两次翻车,救命的都不是「更聪明的代码」,而是两个特别笨的办法。

第一条线:基础基线对比。

从第一天起,我们坚持一个动作——每次验证通过,就打一个基线快照(baseline-v1、v2、v3、v4)。基线是什么?是「这一版,确定是好的」的存档。

有了基线,事情就变了:改代码之前,先和基线比一比——这次改动是让结果变好,还是变差?我们把「变差」写成了硬规则(乱码多了、中文少了 10%、章节缺了,任中一项就算变差),再用脚本自动比对,不再靠主观感觉说「差不多」。

第二条线:代码回滚。

改崩了,不是硬着头皮继续修,而是一把回退到上一个验证通过的基线。

「改崩就回退」这五个字,听起来像废话,但做起来极难。因为在那个当下,你会觉得「再改一次就好了」。而这两次翻车的教训是一致的:越改越乱不可怕,可怕的是没有一条能退回去的路。于是「再改一次」就变成了「再崩一次」。

基线 + 回滚,合起来是一件事:给项目装一个「后悔药」。

有意思的是:这两个办法一点不「高级」,甚至和「聪明」背道而驰。写一个自动比对脚本、标记一个基线快照,这些都是搬砖活,没有半点酷炫。但在越改越乱的崩溃边缘,恰恰是这两个笨办法,给了我们最后一条生路——它们不指望你「记得」,不指望你「自觉」,只提供一个硬邦邦的、可核对的、可退回的参照系。

接下来,我们把它拆开讲透

这个系列一共 12 篇,分成三个部分。

第 02~07 篇,是 6 个治理坑。 从「改代码的门槛几乎为零」,到「规则写到 573 行反而不看了」,一个个拆。它们是第一次翻车的 6 个零件。

第 08~09 篇,是另外两场硬仗。 一场是「内容混入」的 10 提交自救——不是变量没清空,是检查时机太早;一场是「exe 静默崩溃」——不是代码的错,是打包环境的错。

第 10 篇,是总结。 把两次翻车放在一起,挖出那条贯穿全程的母根因:缺门控 + 缺可回退基线。这是整个系列最想讲透的一件事。

一句总结

技术跑通,只是拿到了入场券。能不能持续交付,拼的是工程治理——而治理的底线,就是「有基线可对比、有版本可回滚」。

下一篇,从第一次翻车的第一个坑讲起。


下一篇预告:《改代码的门槛,几乎为零:5 次未评审修改的一天,和一把 git revert》

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。