用 CDP 远程读取网页状态的一次实践

举报
yd_225649965 发表于 2026/10/22 02:45:46 2026/10/22
【摘要】 Chrome DevTools Protocol(CDP)最初是给 DevTools 用的调试协议,但它的能力远不止调试:任何能拿到 --remote-debugging-port 的 Chrome 实例,都可以被另一台机器上的程序当成"远程浏览器"来驱动。最近我在运维一个常驻在云服务器上的 Chrome(用来做签到、巡检等网页自动化),把 CDP 远程读状态这条路完整走了一遍,记录下具体做...

Chrome DevTools Protocol(CDP)最初是给 DevTools 用的调试协议,但它的能力远不止调试:任何能拿到 --remote-debugging-port 的 Chrome 实例,都可以被另一台机器上的程序当成"远程浏览器"来驱动。最近我在运维一个常驻在云服务器上的 Chrome(用来做签到、巡检等网页自动化),把 CDP 远程读状态这条路完整走了一遍,记录下具体做法和踩过的坑。

场景与架构

需求很简单:沙箱里跑脚本,浏览器跑在另一台机器(或同一台机器的另一个网络命名空间)上,脚本要能看到"页面现在是什么样子",并做点击、填表。方案:

  1. 远端 Chrome 用 --remote-debugging-port=9222 --headless=new 启动;
  2. 本机用 SSH -L 9222:127.0.0.1:9222 把远端调试端口转发到本机;
  3. 脚本连 http://127.0.0.1:9222/json 拿 tab 列表,再用 websocket 连上目标 tab 的 webSocketDebuggerUrl 发 CDP 命令。

整个链路里没有任何 GUI,纯协议通信。读网页状态主要靠三个域:DOM、Accessibility、Runtime。

第一步:拿到可读的页面快照

最直观的读法是 DOM.getDocument + 序列化,但对自动化决策来说,真正好用的是无障碍树。Accessibility.getFullAXTree 返回的是一棵带角色(role)、名称(name)、可聚焦状态的树,天然就是"人眼看到的页面结构",而且自带元素引用。

import json, websocket

def send(ws, method, params=None):
    ws.send(json.dumps({"id": 1, "method": method, "params": params or {}}))
    while True:
        msg = json.loads(ws.recv())
        if msg.get("id") == 1:
            return msg["result"]

# 读无障碍树
tree = send(ws, "Accessibility.getFullAXTree", {"depth": 12})
for node in tree["nodes"]:
    name = node.get("name", {}).get("value", "")
    if node.get("role", {}).get("value") in ("button", "link") and name:
        print(node["role"]["value"], "—", name, "—", node["nodeId"])

输出大概长这样:button — 立即签到 — 1024。这就是给决策层用的"页面现在有什么可点的"。坑 1:无障碍树对 Canvas 和纯图片按钮是瞎的——有些站点把按钮画在 canvas 里,AX 树里只有一个 "canvas" 节点,这时候只能退回 Page.captureScreenshot 截图 + 人眼(或视觉模型)看。提前想好 fallback,别指望一条路走天下。

第二步:稳定地定位元素

拿到 nodeId 后,下一步通常是点击。直觉做法是 Accessibility 节点 → DOM.resolveNode 拿 objectId → DOM.getBoxModel 拿坐标 → Input.dispatchMouseEvent 点。但无障碍树的 nodeId 是位置编号,不是稳定身份:页面一次 Vue 重排(插入一条提示、倒计时刷新),后面的节点 id 全部错位。用一张 30 秒前的快照去点,大概率点偏。

实战里总结出的定位优先级,从稳到不稳:

  1. CSS 选择器:document.querySelector 在"操作那一刻"现场查 DOM,不会过期。登录按钮这种关键元素,优先从实页 HTML 里扒 id、业务属性(data-*、ht 这类埋点属性)、placeholder。比如某站点的提交按钮带 ht="click_login_phoneSubmit",用 [ht="click_login_phoneSubmit"] 一击即中。
  2. 新鲜快照编号:只做一次性探索用,一张快照只做一个动作,做完立刻丢弃。
  3. 坐标:最后的兜底,且必须在点击前 1 秒内刚取的 boxModel。
# selector-first:操作时刻现场查询,不过期
res = send(ws, "Runtime.evaluate", {
    "expression": 'document.querySelector(\'[ht="click_login_phoneSubmit"]\').getBoundingClientRect()',
    "returnByValue": True
})
r = res["result"]["value"]
x, y = r["x"] + r["width"] / 2, r["y"] + r["height"] / 2
send(ws, "Input.dispatchMouseEvent",
     {"type": "mousePressed", "x": x, "y": y, "button": "left", "clickCount": 1})
send(ws, "Input.dispatchMouseEvent",
     {"type": "mouseReleased", "x": x, "y": y, "button": "left", "clickCount": 1})

坑 2:构建哈希属性不能当锚点。 Vue 项目的 data-v-8f3a2c1d 每次发版会变,今天扒的选择器下周就失效。只用业务语义稳定的属性。

坑 3:合成点击可能被覆盖层吃掉。 有些站点会注入全屏透明 overlay(防爬或做埋点),elementFromPoint 先命中 overlay,el.click() 点了个寂寞。CDP 的 Input.dispatchMouseEvent 是浏览器层面的真实输入事件,不走 JS 合成这条路,反而更可靠——这也是我最终全部切到 CDP 原生输入的原因。

第三步:填表与状态核对

填表用 DOM.focus + Input.insertText(比 dispatchKeyEvent 一个个敲快得多,中文也没问题)。填完必须用新快照核对:把输入框的 value 再读一遍,确认值确实进了目标框——页面重排导致填错框是常事,不核对就等于没做。

send(ws, "DOM.focus", {"objectId": obj_id})
send(ws, "Input.insertText", {"text": "13800000000"})
# 核对
check = send(ws, "Runtime.evaluate", {
    "expression": 'document.querySelector(\'input[placeholder="请输入手机号"]\').value',
    "returnByValue": True
})
assert check["result"]["value"] == "13800000000", "填表未命中目标框!"

坑 4:Runtime.evaluate 默认在页面主世界执行,碰到站点的 CSP 或框架劫持有时会抛异常。 关键读取加上 awaitPromise: True 和 try 包裹,读不到就降级到截图人工看,不要让一次读取失败把整个流程炸掉。

坑 5:远程调试端口的安全。 --remote-debugging-port 绑 0.0.0.0 等于把浏览器控制权送给全网。正确姿势是只绑 127.0.0.1,跨机器一律走 SSH 端口转发;转发本身再套一层密钥认证。调试协议没有任何鉴权,裸奔必被扫。

一点总结

CDP 远程读网页状态的核心就三句话:无障碍树看"有什么",选择器做"点哪里",新快照做"做对了吗"。位置编号只在快照那一刻有效,任何跨越一次页面重排的引用都不可信。把这条铁律刻进流程里,远程浏览器自动化能省掉一大半"明明昨天还好好的"灵异故障。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。