CDP 复用已登录 Chromium 会话完成服务端取数
问题现场:登录态只存在于那台机器的浏览器里
运维机上挂着一台 Chromium,每天早上值班同学扫码登录一次,之后一整天都保持登录。我们要抓的数据在后台的「导出」页里,没有开放 API,账号还绑了短信二次验证,脚本根本登不进去。
唯一可行的路是不登录:让 Chromium 带着 --remote-debugging-port 跑起来,服务端通过 CDP 连上去,直接操作那个已经登录的标签页。下面这套代码在华为云 ECS(4C8G,Ubuntu 22.04)上跑了半年多,每天触发 6 次。
为什么不能新建 browser context
第一反应通常是 Target.createBrowserContext 开一个干净上下文,把活干完再销毁。这条路走不通:新建的 context 是隔离 profile,Cookie、localStorage、IndexedDB、Service Worker 缓存全是空的。
有人会想,用 Network.getCookies 把 Cookie 导出来再 Network.setCookie 灌进去。实际上后台的登录凭证一半在 Cookie 里,一半在 localStorage 的 token 字段里,还有一部分在 sessionStorage。而且新 context 意味着新的 UA 指纹、新的存储分区,风控大概率直接把你踢回登录页。所以必须 attach 到已有的那个标签页。
第一步:让 Chromium 带着调试端口活着
启动命令(注意 user-data-dir 要是那个已经登录过的目录):
/usr/bin/chromium --remote-debugging-port=9222 --user-data-dir=/home/ops/.config/chromium-ops --no-first-run --no-default-browser-check --restore-last-session
这里有个必踩的坑:如果同一个 user-data-dir 已经有实例在跑,再执行这条命令,新进程会把参数转发给老实例然后立刻退出,端口根本没人监听。表现就是脚本连不上,但命令行没有任何报错。所以启动前先探测:
curl -s http://127.0.0.1:9222/json/version
有返回就直接用,没有才起新进程。另外 CDP 端口没有任何鉴权,谁连上谁就是浏览器的主人,安全组里千万不要放通 9222,也不要改成 --remote-debugging-address=0.0.0.0。
顺带提一句,如果需要在服务端新开标签页,注意新版 Chromium 已经不允许 GET 了,会返回 Using unsafe HTTP verb GET to invoke /json/new. This action supports only PUT verb.,必须 curl -X PUT 'http://127.0.0.1:9222/json/new?about:blank'。
第二步:flatten 模式 attach 到目标页
先从 /json/version 的 webSocketDebuggerUrl 拿到 browser 级的 WebSocket 地址,只用这一条连接,不要去连每个页面各自的 webSocketDebuggerUrl。
const targets = await cdp.send('Target.getTargets');const page = targets.targetInfos.find(t => t.type === 'page' && t.url.startsWith('https://console.example.com/'));const { sessionId } = await cdp.send('Target.attachToTarget', { targetId: page.targetId, flatten: true });
flatten: true 是关键。不开这个开关,后续所有命令都得用 Target.sendMessageToTarget 把 JSON 再序列化成字符串塞进去,返回值还得从 Target.receivedMessageFromTarget 事件里捞,自己的消息 id 和 CDP 的 id 会打架。开了 flatten,所有消息走同一条连接,只是多带一个 sessionId 字段,收发逻辑和单页面完全一致。
另外记得先 Target.setDiscoverTargets({ discover: true }),否则收不到目标增删事件,后面的兜底逻辑没法做。
第三步:Runtime.evaluate 的返回值怎么拿回来
直接 returnByValue: true 取一个复杂对象,很容易撞上 Object couldn't be returned by value——DOM 节点、循环引用、函数都序列化不了。拿 RemoteObject 再递归 Runtime.getProperties 又太啰嗦。
实际用法是两段式:先让页面把结果 JSON.stringify 挂到 window 上,再单独读回来。
const key = '__R_' + taskId;await cdp.send('Runtime.evaluate', { expression: `(async () => { window[${JSON.stringify(key)}] = JSON.stringify(await collect()); })()`, awaitPromise: true }, sessionId);const { result } = await cdp.send('Runtime.evaluate', { expression: `window[${JSON.stringify(key)}]`, returnByValue: true }, sessionId);if (typeof result.value !== 'string') throw new Error('empty result');const data = JSON.parse(result.value);
两个细节值得记:key 一定要带任务唯一后缀,多个 session 并发写同一个 window.__R 会互相覆盖;异步采集函数必须用 awaitPromise: true,否则 evaluate 立刻返回,读到的是 undefined。
第四步:标签页被关、页面跳转的兜底
值班同学随手关掉标签页、后台自己 location.href 跳走,都会让脚本炸掉。典型报错有三种:
Session with given id not found.—— session 已经跟着标签页一起没了;No target with given id found—— 再 attach 时目标已经不存在;Cannot find context with specified id—— 页面导航后旧执行上下文失效,window上的数据也一起丢了。
兜底策略是包一层带重试的 withSession:捕获上述错误后,重新走一遍 /json/list(或 Target.getTargets),按 URL 前缀找同类型的 page 重新 attach,最多重试 3 次,间隔 1s、2s、4s 退避。三次都失败就告警,让人去重新登录,别在那里死循环重连。读回值为空字符串或 undefined 时也要走同一套重试,因为那多半是页面刚刚跳转过。
第五步:多标签页并发时的资源回收
每 attachToTarget 一次,browser 端就多一个 inspector 会话,Runtime、Network 这些 domain 的状态都各自独立占内存。不 detach 就是纯泄漏,跑一天下来进程 RSS 能翻倍。
规范写法是每个任务都成对出现,用 try/finally 保证释放:
try { await work(sessionId); } finally { await cdp.send('Target.detachFromTarget', { sessionId }).catch(() => {}); }
同时监听 Target.detachedFromTarget 和 Target.targetDestroyed,把本地 Map 里的 sessionId 清掉,避免后续代码对着僵尸 session 发命令。进程退出前(process.on('SIGTERM'))再统一 detach 一遍残留的会话。做到这一步,连续跑三十天,Chromium 的内存曲线是平的。
- 点赞
- 收藏
- 关注作者
评论(0)