环形缓冲区写满后:协议写入卡死的定位路径

举报
yd_246468676 发表于 2026/11/15 00:03:49 2026/11/15
【摘要】 一、现象:写入阻塞但无报错

一、现象:写入阻塞但无报错

[wanglaowu]第一节 现象:写入阻塞但无报错

服务从 v2.7.3 升到 v2.8.1 之后,日志里没有任何 WARN 或 ERROR,接口却开始超时。具体表现是:用 curl 给写接口发数据时,请求迟迟不返回,最后是客户端自己先超时退出,报错原文只有 curl: (28) Operation timed out after 30000 milliseconds with 0 bytes received,服务端一行日志都没补。用 ss -tnp 查这条连接,Send-Q 长期停在 204800 不动,Recv-Q 一直是 0;用 strace -f -p 跟主线程,看到 write() 从 0 字节写到 98304 字节之后就不再前进,随后只剩 futex 在等,说明线程卡在了某个位置。把接口的 write_timeout 调成 5000 ms 之后,超时能报出来,错误码是 EAGAIN,但上游拿到的仍然是超时,看上去和之前的现象没有差别。用 pidstat -t -p 1 看,协议线程的 %usr 在 0.2 附近,基本处于不干活的状态,只有心跳线程的 %usr 在 1 左右;连接不会断,也不会返回错误,只是不再有数据吐出来。也就是说,现象更像被背压单向堵住了写入,协议写入本身并没有出错,这和客户端断开、内核拒绝连接都不一样,也是后面要从 fd 状态往回查的原因。验证办法:复现时在另一个终端跑 ss -tnp 和 pidstat -t -p 1,看 Send-Q 是否恒定不变、协议线程 %usr 是否接近 0,两条同时成立就能确认这类“静默阻塞”。

二、从 fd 状态倒查背压来源

[wanglaowu]第二节 从 fd 状态倒查背压来源

既然 Send-Q 恒定在 204800 不动,就用 fd 本身把背压钉死在一层上。v2.8.1 里连接句柄由 protocol_ctx 持有,先拿 /proc//fdinfo/ 看 unix socket 或 TCP 的发送缓冲归属:

ls -l /proc//fd | grep socket

cat /proc//fdinfo/47

ss -tinop state established '( sport = :9000 )'

fdinfo 里 pos 为 0 且 flags 是 02 时,说明该 fd 非阻塞、写路径没有在 fd 层被阻塞,卡点在 ring buffer 的等待队列上。继续读 /proc//task/*/stack 或 perf top -p -g,看协议线程的栈帧是否落在 rb_write_wait 里,同时数一下 rb 的 head 与 tail:从 v2.8.1 的 /debug/rb/47 读出 head=1048576、tail=524288,差值正好等于缓冲容量 524288,说明环已经写满,生产者卡在等待消费者推进 tail。而上游消费者线程若因为下游限流被挂住,tail 就不动,形成单向堵死。此时用 perf record -F 99 -g -p -- sleep 10 采样,超过 80% 的样本落在 futex_wait 上,就印证了等待发生在条件变量而非 IO。验证办法:同时执行 ss -tinop 与 cat /proc//task/*/stack,若 fdinfo flags 保持 02 且栈帧稳定停在 rb_write_wait,环 head-tail 等于容量,即可确认背压来自消费者滞后的环形缓冲,而不是 fd 或内核。

三、调 buffer 与限流的分工

[wanglaowu]确认环满之后,先把两件事拆开:buffer 决定"能攒多少",限流决定"每秒放多少",两者混调只会让 tail 继续不动。先把 rb 容量临时抬到 1048576,v2.8.1 改 /etc//rb.conf 的 ring_size,SIGHUP 生效,再压 60 秒看 head-tail 峰值:

sed -i 's/^ring_size=.*/ring_size=1048576/' /etc//rb.conf

kill -HUP $(pidof )

watch -n1 'cat /debug/rb/47'

若峰值仍顶到容量、consumer 栈长期停在 futex_wait,说明瓶颈在下游放行速率,不在内存,这时加 buffer 只是把卡死推迟 30~40 秒,之后照旧,还会把端到端时延从 8ms 拉到 45ms。反过来把限流从 2000 req/s 提到 4000 req/s 而不动 buffer,head-tail 会反复撞顶,rb_write_wait 采样占比从 80% 掉到 55% 但绝不归零,抖动更大。正确分工是:限流按下游实测吞吐的 70% 设定,即 ×0.7,buffer 按"限流值×最大可容忍时延"算,2000×0.02=40000 条足够;余量留给突发而非长期堆积。改完重跑 perf record -F 99 -g -p -- sleep 10,futex_wait 占比降到 5% 以下、head-tail 稳定在容量的 30% 以内即达标。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。