能跑的爬虫,为什么越改越烂?
能跑的爬虫,为什么越改越烂?
系列第 01 篇 · 总纲
技术 4 天跑通,工程却反复翻车。这篇先讲清楚:崩在哪,以及我们靠什么救回来。
一个「技术全对」的项目,怎么还会崩?
先说结论:这个项目的所有技术难题,4 天就全解决了。
我们要做一个电子书抓取工具,把某头部电子书阅读产品里的书,抓成本地的 Markdown。真正的硬骨头是反爬——正文不是放在 DOM 里的,而是用 <canvas> 一笔一笔画出来的;更狠的是,画字的字体编码还被混淆了,直接拿到的字符全是乱码(U+FFFD)。
我们怎么破的?四层递进:
- 拦截
fillText,拿到 canvas 画的每一段字; - 找到一个隐藏的章节内容接口,返回 Base64 编码的原始正文;
- hook 住
innerHTML,拿到浏览器已经解码好的 HTML; - 发现正文里有个「字符偏移量」属性,按它排序 + 句子级去重。
第四天,第一本书 45 章全部抓完:0 乱码、0 重复、图片位置全对。那一刻我挺得意的——最难的都搞定了,后面还不是顺水推舟?
结果,接下来的日子,同一个项目翻车了一次又一次。而这些坑,没有一条跟「反爬」有关。
工程翻了两次车,一次比一次狠
回头把整个项目的翻车记录过了一遍,发现它大致分成两个阶段。
第一次翻车,发生在「早熟」的阶段。
那时候工具刚跑通,人特别飘,觉得「改个阈值」「加个补丁」都是小事,于是:
- 5 次没评审就改代码,把已经验证通过的版本改崩了;
- 改完不回归验证就继续,等发现时,备份的旧内容居然比新版本还完整;
- 一个参数写漏了别名,静默回落到默认值
all,于是某个晚上「顺手」把一本书几十章全量抓了; - 为了「快」,一个回复里并行发了多个抓取命令,还用
for循环批量抓多章。
这一阶段的教训,浓缩成一句话:改代码的门槛,几乎为零。
第二次翻车,发生在「越改越乱」的修复阶段。
工具要包装成桌面应用(exe),顺带升级抓取核心。结果:
- exe 一启动就静默崩溃,查了半天,坏的居然是打包环境,不是代码;
- 升级抓取核心只测了「搜索」,漏测了「抓取」,上线才发现核心功能坏了;
- 最狠的是一次「内容混入」:抓出来的每一章正文里,都混进了版权页和前言。
为了修这个「混入」,我们连着改了 10 个提交。结果你猜怎么着?每一次修复,都在另一个地方开出新的口子:修好了「混入」,正文就分段错误;修好了分段,图片又丢了;修好了图片,结尾开始冒出 HTML 碎片。十个提交排下来,像在打地鼠,越打越多。
改到最后,我做了个决定:把这 10 次改动全部扔了,回退到上一个验证通过的基线。
救了我们命的两样东西
两次翻车,救命的都不是「更聪明的代码」,而是两个特别笨的办法。
第一条线:基础基线对比。
从第一天起,我们坚持一个动作——每次验证通过,就打一个基线快照(baseline-v1、v2、v3、v4)。基线是什么?是「这一版,确定是好的」的存档。
有了基线,事情就变了:改代码之前,先和基线比一比——这次改动是让结果变好,还是变差?我们把「变差」写成了硬规则(乱码多了、中文少了 10%、章节缺了,任中一项就算变差),再用脚本自动比对,不再靠主观感觉说「差不多」。
第二条线:代码回滚。
改崩了,不是硬着头皮继续修,而是一把回退到上一个验证通过的基线。
「改崩就回退」这五个字,听起来像废话,但做起来极难。因为在那个当下,你会觉得「再改一次就好了」。而这两次翻车的教训是一致的:越改越乱不可怕,可怕的是没有一条能退回去的路。于是「再改一次」就变成了「再崩一次」。
基线 + 回滚,合起来是一件事:给项目装一个「后悔药」。
有意思的是:这两个办法一点不「高级」,甚至和「聪明」背道而驰。写一个自动比对脚本、标记一个基线快照,这些都是搬砖活,没有半点酷炫。但在越改越乱的崩溃边缘,恰恰是这两个笨办法,给了我们最后一条生路——它们不指望你「记得」,不指望你「自觉」,只提供一个硬邦邦的、可核对的、可退回的参照系。
接下来,我们把它拆开讲透
这个系列一共 12 篇,分成三个部分。
第 02~07 篇,是 6 个治理坑。 从「改代码的门槛几乎为零」,到「规则写到 573 行反而不看了」,一个个拆。它们是第一次翻车的 6 个零件。
第 08~09 篇,是另外两场硬仗。 一场是「内容混入」的 10 提交自救——不是变量没清空,是检查时机太早;一场是「exe 静默崩溃」——不是代码的错,是打包环境的错。
第 10 篇,是总结。 把两次翻车放在一起,挖出那条贯穿全程的母根因:缺门控 + 缺可回退基线。这是整个系列最想讲透的一件事。
一句总结
技术跑通,只是拿到了入场券。能不能持续交付,拼的是工程治理——而治理的底线,就是「有基线可对比、有版本可回滚」。
下一篇,从第一次翻车的第一个坑讲起。
下一篇预告:《改代码的门槛,几乎为零:5 次未评审修改的一天,和一把 git revert》
- 点赞
- 收藏
- 关注作者
评论(0)