把网页内部接口变成可复用 CLI:CDP 抓包到 curl 复现的完整流程

举报
yd_230653297 发表于 2026/11/02 01:35:56 2026/11/02
【摘要】 浏览器只用来发现接口,不用来驱动作业。三步法:CDP 注入录制脚本抓全请求头 → 定位 Cookie 与 CSRF 鉴权 → curl 复现后封装成 CLI,附 csrf 过期、Referer 校验、频率控制等实际踩坑。

写在前面

做运维和自动化时,最费时间的往往不是脚本本身,而是「这个页面背后的接口是什么」。很多时候我们只需要批量读一个列表、导出一份数据,却被登录态、动态渲染和前端路由挡在门外。

这篇讲一套我常用的三步法:CDP 抓包 → 抠出鉴权 → curl 复现 → 封装成 CLI。目标是让一次手工点击变成一条可重复执行的命令。

一、不要从 Selenium 开始

第一反应通常是「用浏览器模拟点击」。但这种方式有三个硬伤:

  1. 慢,每个动作都要等渲染;
  2. 脆,页面改版就全废;
  3. 脏,一堆 sleep 和重试堆在脚本里。

真正稳定的是找到页面调用的那个 XHR 接口,直接按它的方式发请求。浏览器只用来发现接口,不用来驱动作业。

二、抓包:抓全请求头,别只抓 URL

用 CDP 连上已经登录的浏览器,注入一段录制脚本,把请求的方法、URL、请求头、请求体、响应都记下来:


window.__LOG = [];

(() => {

  const open = XMLHttpRequest.prototype.open;

  const setHeader = XMLHttpRequest.prototype.setRequestHeader;

  const send = XMLHttpRequest.prototype.send;



  XMLHttpRequest.prototype.open = function (m, u, ...r) {

    this.__m = m; this.__u = u; this.__hd = {};

    return open.call(this, m, u, ...r);

  };

  XMLHttpRequest.prototype.setRequestHeader = function (k, v) {

    this.__hd[k] = v;

    return setHeader.call(this, k, v);

  };

  XMLHttpRequest.prototype.send = function (b) {

    this.addEventListener('load', () => window.__LOG.push({

      m: this.__m, u: this.__u, h: this.__hd, b: b, s: this.status,

      r: (this.responseText || '').slice(0, 3000)

    }));

    return send.call(this, b);

  };

})();

通过 Page.addScriptToEvaluateOnNewDocument 注入后刷新页面,window.__LOG 里就是完整流水。

注意:这个注入只对之后加载的页面生效,直接在控制台执行会随导航丢失。

三、抠鉴权:90% 的失败在这一步

请求发不通,通常不是参数错,而是少了头。常见的三类:

  • Cookie:credentials: 'include' 就能带上,但域名必须和页面一致;
  • CSRF 头:很多站点用它做防重放,名字可能是 csrf、X-CSRF-Token、X-XSRF-TOKEN,值往往在页面初始化时由服务端下发;
  • 业务签名:少数接口有签名,需要看前端 JS 的生成逻辑。

判断方法很直接:拿 curl 复现一次。返回「缺少 csrf / 非法请求」就是缺头;返回 401 就是 Cookie 没带上。

四、复现:先用 curl 跑通,再写代码


curl 'https://example.com/api/list' \

  -H 'Content-Type: application/json' \

  -H 'csrf: 65763c0a-6dc0-4620-b96a-844ae33ed22e' \

  -b "$(cat cookie.txt)" \

  --data-raw '{"page_no":1,"page_size":50}'

curl 通了,剩下的只是把 shell 换成 Python:


import json, requests



def fetch_list(sess, csrf, page=1, size=50):

    r = sess.post(

        "https://example.com/api/list",

        headers={"Content-Type": "application/json", "csrf": csrf},

        data=json.dumps({"page_no": page, "page_size": size}),

        timeout=15,

    )

    r.raise_for_status()

    return r.json()

把 Cookie 和 csrf 存到本地文件或环境变量,脚本就能脱离浏览器运行。

五、几个容易踩的坑

  1. csrf 会过期:页面刷新后值可能变,别硬编码,每次重新取;
  2. Referer / Origin 校验:部分接口会校验来源,缺了直接 403;
  3. 频率控制:接口不是给你跑批的,加 sleep 和指数退避,别把对方打挂;
  4. 分页参数名:page_no / page / offset 各家不同,以抓到的为准,不要猜。

六、合规底线

这套方法只适用于你自己有权限的系统:自己的账号、公司内部平台,或明确提供了 API 的服务。绕过鉴权控制、批量抓取他人数据、高频请求,都不在本文讨论范围内,也可能违反服务协议。

小结

  • 浏览器只用来发现接口,不用来执行;
  • 抓包要抓全请求头和请求体,只看 URL 等于没抓;
  • 先 curl 跑通,再翻译成代码;
  • 鉴权(Cookie + CSRF)是主要失败点,频率和合规是主要风险点。

按这个流程走,一个页面的手工操作通常能在半小时内变成一条可复用的 CLI 命令。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。