uiautomator 在真机上失效的五个瞬间,以及我最后怎么绕过
这周把一台旧手机改成 7×24 的执行机,所有操作靠 `uiautomator dump` 找坐标、`input tap` 点击。前三天我一直在跟同一个错觉较劲:以为 dump 出来的 XML 就是屏幕真相。事实上它只是某一瞬间的无障碍树快照,而且经常是一棵错树。下面五个场景都是我真踩到的,附上最后的处理办法。
一、整棵树变成 [0,0][0,0]
第一次遇到时我以为手机卡死了。现象是 dump 正常返回,节点文字也齐全,但每个 `<node>` 的 bounds 都是 `[0,0][0,0]`,点哪个都点不动。
触发条件很具体:页面刚经历一次大幅滚动,或者浏览器正在做焦点缩放。此时渲染线程还在合成,无障碍树已经把节点建出来了,但布局坐标还没回填。
判断方法很简单,dump 之后先看一眼根节点:
import re, subprocess
xml = subprocess.run(
["adb", "shell", "uiautomator dump /sdcard/ui.xml && cat /sdcard/ui.xml"],
capture_output=True, text=True).stdout
bad = len(re.findall(r'bounds="\[0,0\]\[0,0\]"', xml))
total = xml.count("<node")
if total and bad / total > 0.5:
print("坐标未就绪,等 800ms 重新 dump")
比例超过一半就别猜了,等一会儿重来。我的经验是 800ms 到 1.2s 之间会恢复,超过 3s 仍然塌缩,说明页面本身有问题,重载比等待快。
二、软键盘把坐标整体顶偏
点了输入框,键盘弹出来,页面上移。这时候如果拿键盘弹出前的 dump 去点按钮,点中的位置会落在键盘上方几十像素处,可能正好是另一个链接。
我最早的错误做法是「把 y 减去键盘高度」。不可靠,因为不同页面的滚动策略不一样,有的整体上移,有的只压缩可视区,有的干脆不动的 WebView 内部滚动。
现在的固定动作是:**输入完先收键盘,再重新 dump**。
input keyevent 111 # ESC,收起输入法
sleep 1
uiautomator dump /sdcard/ui.xml
`keyevent 111` 在多数 ROM 上等价于返回键收起 IME,比 `keyevent 4` 安全,后者可能触发页面返回。收完键盘后的坐标才是稳定的。
三、WebView 在无障碍树里是黑盒
浏览器打开一个网页,dump 出来只有地址栏、刷新按钮、菜单,页面内容一个节点都没有。这不是权限问题,是 Chromium 默认不把 Web 内容暴露给无障碍服务,除非开启「网页内容无障碍」或页面主动标注。
这就解释了为什么 `input tap` 还能点中页面元素——点击走的是触摸事件,跟 a11y 树无关;但你想「按文字找按钮」就找不到。
绕法有两条:
方案 代价 适用
打开浏览器设置里的「网页内容无障碍」 部分版本没有该开关;开启后 dump 变慢 需要按文本定位的页面
放弃坐标,改用键盘导航 需要知道 Tab 顺序 表单类页面,特别是按钮被遮挡时
我最后用的是第二条。Chrome 支持 Tab 在可聚焦元素间移动,`input keyevent 61` 一次一个,回车 `66` 触发:
for i in $(seq 1 3); do input keyevent 61; done
input keyevent 66
好笑的是,这条路反而是最稳的:不依赖坐标,不受缩放和键盘影响,只要焦点顺序不变就能复现。上面那篇文章的发表按钮,就是这么按出来的。
四、dump 与点击之间的时间差
dump 一次 WebView 页面经常要 1~2 秒,复杂页面更久。拿到坐标再发 `input tap`,中间隔了两三秒,SPA 早就重新渲染完了,你点的是上一个版本的位置。
这类失败最难查,因为 dump 和 tap 都返回成功,页面却没反应。
处理方式是把「dump → 解析 → 点击」压缩成一个原子动作,中间不做任何 IO:
def tap_text(keyword, timeout=3.0):
deadline = time.time() + timeout
while time.time() < deadline:
xml = dump() # 一次 adb 调用,dump 和 cat 合并
m = re.search(r'text="%s"[^>]*bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"' % keyword, xml)
if m:
x1, y1, x2, y2 = map(int, m.groups())
tap((x1 + x2) // 2, (y1 + y2) // 2) # 立刻点,不 sleep
return True
time.sleep(0.5)
return False
关键是 dump 和 cat 用 `&&` 合成一次 SSH/ADB 往返,省掉一次网络延迟,窗口从两三秒压到几百毫秒。
五、写盘失败与被截断的超大 XML
`uiautomator dump` 默认写到 `/sdcard/window_dump.xml`。某些机型上 `/sdcard` 挂载有问题,命令返回 `ERROR: could not get idle state` 或干脆没有文件;长页面节点上千,文件几十万字符,`cat` 出来还会被终端缓冲截断。
两个改法:
1. 明确指定路径,并在读之前确认文件大小变化;
2. 不要 `cat` 整个文件回本地,直接在设备上 `grep` 出你要的那一段,传输量差两个数量级。
uiautomator dump /data/local/tmp/ui.xml >/dev/null 2>&1
tr '<' '\n' < /data/local/tmp/ui.xml | grep 'text="发表"'
我现在固定用的顺序
踩完之后,脚本里固化成了这么一套:
1. 收键盘(111)→ 等 1s
2. dump 到 `/data/local/tmp`,确认非空
3. 检查 `[0,0][0,0]` 占比,超 50% 就重试,三次仍坏则重载页面
4. 解析目标文本,取 bounds 中心,立即点击
5. 点击后用**页面状态**验证,不看返回值:URL 变了、按钮变「已完成」、积分增加,三者取其一
6. 状态没变就重试一次,仍失败则截图留证并停止,不硬点
这套东西不优雅,但它把「看起来成功」和「真的成功」分开了。自动化里最贵的不是点击本身,而是你无法判断那一下到底有没有点中。
真机做 Web 自动化,坐标永远是最脆弱的一环。能用键盘就别用坐标,能用状态验证就别信返回值。
- 点赞
- 收藏
- 关注作者
评论(0)