环形缓冲区写满后:协议写入卡死的定位路径
一、现象:写入阻塞但无报错
[wanglaowu]第一节 现象:写入阻塞但无报错
服务从 v2.7.3 升到 v2.8.1 之后,日志里没有任何 WARN 或 ERROR,接口却开始超时。具体表现是:用 curl 给写接口发数据时,请求迟迟不返回,最后是客户端自己先超时退出,报错原文只有 curl: (28) Operation timed out after 30000 milliseconds with 0 bytes received,服务端一行日志都没补。用 ss -tnp 查这条连接,Send-Q 长期停在 204800 不动,Recv-Q 一直是 0;用 strace -f -p 跟主线程,看到 write() 从 0 字节写到 98304 字节之后就不再前进,随后只剩 futex 在等,说明线程卡在了某个位置。把接口的 write_timeout 调成 5000 ms 之后,超时能报出来,错误码是 EAGAIN,但上游拿到的仍然是超时,看上去和之前的现象没有差别。用 pidstat -t -p 1 看,协议线程的 %usr 在 0.2 附近,基本处于不干活的状态,只有心跳线程的 %usr 在 1 左右;连接不会断,也不会返回错误,只是不再有数据吐出来。也就是说,现象更像被背压单向堵住了写入,协议写入本身并没有出错,这和客户端断开、内核拒绝连接都不一样,也是后面要从 fd 状态往回查的原因。验证办法:复现时在另一个终端跑 ss -tnp 和 pidstat -t -p 1,看 Send-Q 是否恒定不变、协议线程 %usr 是否接近 0,两条同时成立就能确认这类“静默阻塞”。
二、从 fd 状态倒查背压来源
[wanglaowu]第二节 从 fd 状态倒查背压来源
既然 Send-Q 恒定在 204800 不动,就用 fd 本身把背压钉死在一层上。v2.8.1 里连接句柄由 protocol_ctx 持有,先拿 /proc//fdinfo/ 看 unix socket 或 TCP 的发送缓冲归属:
ls -l /proc//fd | grep socket
cat /proc//fdinfo/47
ss -tinop state established '( sport = :9000 )'
fdinfo 里 pos 为 0 且 flags 是 02 时,说明该 fd 非阻塞、写路径没有在 fd 层被阻塞,卡点在 ring buffer 的等待队列上。继续读 /proc//task/*/stack 或 perf top -p -g,看协议线程的栈帧是否落在 rb_write_wait 里,同时数一下 rb 的 head 与 tail:从 v2.8.1 的 /debug/rb/47 读出 head=1048576、tail=524288,差值正好等于缓冲容量 524288,说明环已经写满,生产者卡在等待消费者推进 tail。而上游消费者线程若因为下游限流被挂住,tail 就不动,形成单向堵死。此时用 perf record -F 99 -g -p -- sleep 10 采样,超过 80% 的样本落在 futex_wait 上,就印证了等待发生在条件变量而非 IO。验证办法:同时执行 ss -tinop 与 cat /proc//task/*/stack,若 fdinfo flags 保持 02 且栈帧稳定停在 rb_write_wait,环 head-tail 等于容量,即可确认背压来自消费者滞后的环形缓冲,而不是 fd 或内核。
三、调 buffer 与限流的分工
[wanglaowu]确认环满之后,先把两件事拆开:buffer 决定"能攒多少",限流决定"每秒放多少",两者混调只会让 tail 继续不动。先把 rb 容量临时抬到 1048576,v2.8.1 改 /etc//rb.conf 的 ring_size,SIGHUP 生效,再压 60 秒看 head-tail 峰值:
sed -i 's/^ring_size=.*/ring_size=1048576/' /etc//rb.conf
kill -HUP $(pidof )
watch -n1 'cat /debug/rb/47'
若峰值仍顶到容量、consumer 栈长期停在 futex_wait,说明瓶颈在下游放行速率,不在内存,这时加 buffer 只是把卡死推迟 30~40 秒,之后照旧,还会把端到端时延从 8ms 拉到 45ms。反过来把限流从 2000 req/s 提到 4000 req/s 而不动 buffer,head-tail 会反复撞顶,rb_write_wait 采样占比从 80% 掉到 55% 但绝不归零,抖动更大。正确分工是:限流按下游实测吞吐的 70% 设定,即 ×0.7,buffer 按"限流值×最大可容忍时延"算,2000×0.02=40000 条足够;余量留给突发而非长期堆积。改完重跑 perf record -F 99 -g -p -- sleep 10,futex_wait 占比降到 5% 以下、head-tail 稳定在容量的 30% 以内即达标。
- 点赞
- 收藏
- 关注作者
评论(0)