从 systemd 到协议层:一次队列卡死的排查
一、现象:队列卡住的三层表现
[wanglaowu]先看到的是采集端不再出数:Prometheus 里 node_systemd_unit_state 的 active 一直是 1,可 job 队列长度在三分钟内从 0 涨到 2417 再没动过,unit 的 Tasks 计数稳定在 512 这个上限。第二层是应用层假死,journalctl -u ingest-worker -n 50 --no-pager 只剩最后一行反复刷:
Mar 14 09:21:07 host-07 ingest-worker[1183]: queue_wait_ms=0 batches=0 conn=OK
队列自称空闲、连接自称正常,消费速率却是 0,心跳每 5 秒一条,持续了 41 分钟。第三层落在客户端:上游推流侧开始报
write tcp 10.20.3.11:52340->10.20.3.8:9000: i/o timeout
9000 端口对应 worker 的 gRPC 监听,也就是和上一节提到的 systemd 启动参数 --listen=:9000 一致,重试 3 次后上游把这条流判为失败,后面每条都跟着超时。三层摆在一起就看得出方向不对:进程活着、连接建着、队列却只增不减,说明阻塞不在应用线程里,而在更下面的挂起点上,这个判断直接指向下一节要做的 cgroup 指标反推。
验证方法:对同一时刻取 systemctl show ingest-worker -p TasksCurrent、ss -tn state established '( sport = :9000 )'、journalctl 里最后一条 queue_wait_ms 三者对照,时间戳能对齐就是同一阻塞窗口。
二、从 cgroup 指标反推阻塞点
[wanglaowu]先把三层指标按同一时间戳拉齐,再看 cgroup 里哪一层先动。登录节点执行systemd-cgtop -m --order=memory,对 ingest-worker.slice 观察 41 分钟内 CPU 一直贴着 0.3%,TasksCurrent 稳定在 128,说明线程池没有饥饿、也没有线程在跑,wait 全耗在同步点上。接着读 memory.pressure 与 io.pressure:some avg10 只有 1.2%,full avg10 从阻塞开始前 4 分钟起持续 78% 以上,full 代表所有任务都被卡住,这就是挂起点的指纹。
往下钻 processes 计数与 pids.max,两者相等且 pids.current 顶在 4096,fork 失败但线程未退出,进一步看 cpu.stat 里 nr_throttled 与 throttled_usec,确认并非 CPU 配额打满。最后对照 proto 侧:ss -tnmi '( sport = :9000 )' 看到 Recv-Q 一直攀升到 32768、Send-Q 为 0,cgroup 的 full 压力峰值正好出现在 Recv-Q 越过 socket 默认接收缓冲区的 32768 那一秒,说明 worker 已不再 read(2),是用户态线程卡在写日志的 write 上而不是网络栈。journalctl -u ingest-worker --since "41 min ago" | grep queue_wait_ms 里最后一条停在 41307,与 full avg10 抬升时刻相差不到 2 秒,三者对齐后阻塞点锁定在日志写入路径,下一节把 gRPC 交互日志和它逐条对齐。验证:cat /sys/fs/cgroup/ingest-worker.slice/io.pressure 取 full avg10,再跑一次 ss -tnmi,Recv-Q 持续非零且不回落即为同一窗口。
三、协议交互日志对齐修复
[wanglaowu]先把 gRPC 侧的交互日志从服务端访问日志里剥出来,抓同一窗口的 RPC 生命周期。用 grpcurl 带反射和 v 参数复放慢调用,确认阻塞点在 unary 的 server 侧 handler 返回之前:
grpcurl -plaintext -v -d '{"batch":4096}' 127.0.0.1:9000 ingest.v1.IngestService/IngestBatch
-v 输出的 timing 里 server 侧只有 message 和 trailer 两行,中间的 handler 耗时落在 41.1s 处,和 journalctl 里最后一条 queue_wait_ms 41307 对得上。再翻 worker 自己的结构化日志,每条 RPC 打了 trace_id、recv_ns、first_read_ns、handler_done_ns,用 jq 按 trace_id 归并:
jq -c 'select(.trace_id=="a3f9c1e2") | {recv_ns,first_read_ns,handler_done_ns}' /var/log/ingest-worker/rpc.jsonl
结果 first_read_ns 距 recv_ns 只有 0.4ms,说明请求侧收得快;handler_done_ns 距 first_read_ns 是 41.2s,中间全部耗在 handler 内部的 logger.Info 上。对照 oTel 里那段 span,logger 写 stdout 的 write(2) 一直返回 EAGAIN,因为 journald 的 StdoutMaxLevel 和容器 stdout 管道被写满,worker 卡在同步写。修复是给 log 库换成非阻塞的 zapcore.LockingWriter 加 ring buffer,超过 8MB 直接丢弃 debug 级;同时把 stdout 交给 journald 的 socket 而不是 pipe。改完重启,ss -tnmi 的 Recv-Q 在压测 30 万请求后回落为 0,full avg10 稳定在 2% 以下,queue_wait_ms 最大值从 41307 降到 231。验证:再跑一次 grpcurl -v,server 侧 handler 耗时压到 300ms 内且 rpc.jsonl 中 first_read_ns 与 handler_done_ns 差值不再出现 40s 量级。
- 点赞
- 收藏
- 关注作者
评论(0)