把网页内部接口变成可复用 CLI:CDP 抓包到 curl 复现的完整流程
写在前面
做运维和自动化时,最费时间的往往不是脚本本身,而是「这个页面背后的接口是什么」。很多时候我们只需要批量读一个列表、导出一份数据,却被登录态、动态渲染和前端路由挡在门外。
这篇讲一套我常用的三步法:CDP 抓包 → 抠出鉴权 → curl 复现 → 封装成 CLI。目标是让一次手工点击变成一条可重复执行的命令。
一、不要从 Selenium 开始
第一反应通常是「用浏览器模拟点击」。但这种方式有三个硬伤:
- 慢,每个动作都要等渲染;
- 脆,页面改版就全废;
- 脏,一堆 sleep 和重试堆在脚本里。
真正稳定的是找到页面调用的那个 XHR 接口,直接按它的方式发请求。浏览器只用来发现接口,不用来驱动作业。
二、抓包:抓全请求头,别只抓 URL
用 CDP 连上已经登录的浏览器,注入一段录制脚本,把请求的方法、URL、请求头、请求体、响应都记下来:
window.__LOG = [];
(() => {
const open = XMLHttpRequest.prototype.open;
const setHeader = XMLHttpRequest.prototype.setRequestHeader;
const send = XMLHttpRequest.prototype.send;
XMLHttpRequest.prototype.open = function (m, u, ...r) {
this.__m = m; this.__u = u; this.__hd = {};
return open.call(this, m, u, ...r);
};
XMLHttpRequest.prototype.setRequestHeader = function (k, v) {
this.__hd[k] = v;
return setHeader.call(this, k, v);
};
XMLHttpRequest.prototype.send = function (b) {
this.addEventListener('load', () => window.__LOG.push({
m: this.__m, u: this.__u, h: this.__hd, b: b, s: this.status,
r: (this.responseText || '').slice(0, 3000)
}));
return send.call(this, b);
};
})();
通过 Page.addScriptToEvaluateOnNewDocument 注入后刷新页面,window.__LOG 里就是完整流水。
注意:这个注入只对之后加载的页面生效,直接在控制台执行会随导航丢失。
三、抠鉴权:90% 的失败在这一步
请求发不通,通常不是参数错,而是少了头。常见的三类:
- Cookie:
credentials: 'include'就能带上,但域名必须和页面一致; - CSRF 头:很多站点用它做防重放,名字可能是
csrf、X-CSRF-Token、X-XSRF-TOKEN,值往往在页面初始化时由服务端下发; - 业务签名:少数接口有签名,需要看前端 JS 的生成逻辑。
判断方法很直接:拿 curl 复现一次。返回「缺少 csrf / 非法请求」就是缺头;返回 401 就是 Cookie 没带上。
四、复现:先用 curl 跑通,再写代码
curl 'https://example.com/api/list' \
-H 'Content-Type: application/json' \
-H 'csrf: 65763c0a-6dc0-4620-b96a-844ae33ed22e' \
-b "$(cat cookie.txt)" \
--data-raw '{"page_no":1,"page_size":50}'
curl 通了,剩下的只是把 shell 换成 Python:
import json, requests
def fetch_list(sess, csrf, page=1, size=50):
r = sess.post(
"https://example.com/api/list",
headers={"Content-Type": "application/json", "csrf": csrf},
data=json.dumps({"page_no": page, "page_size": size}),
timeout=15,
)
r.raise_for_status()
return r.json()
把 Cookie 和 csrf 存到本地文件或环境变量,脚本就能脱离浏览器运行。
五、几个容易踩的坑
- csrf 会过期:页面刷新后值可能变,别硬编码,每次重新取;
- Referer / Origin 校验:部分接口会校验来源,缺了直接 403;
- 频率控制:接口不是给你跑批的,加 sleep 和指数退避,别把对方打挂;
- 分页参数名:
page_no/page/offset各家不同,以抓到的为准,不要猜。
六、合规底线
这套方法只适用于你自己有权限的系统:自己的账号、公司内部平台,或明确提供了 API 的服务。绕过鉴权控制、批量抓取他人数据、高频请求,都不在本文讨论范围内,也可能违反服务协议。
小结
- 浏览器只用来发现接口,不用来执行;
- 抓包要抓全请求头和请求体,只看 URL 等于没抓;
- 先 curl 跑通,再翻译成代码;
- 鉴权(Cookie + CSRF)是主要失败点,频率和合规是主要风险点。
按这个流程走,一个页面的手工操作通常能在半小时内变成一条可复用的 CLI 命令。
- 点赞
- 收藏
- 关注作者
评论(0)