从 systemd 到协议层:一次队列卡死的排查

举报
yd_246468676 发表于 2026/11/14 00:06:10 2026/11/14
【摘要】 一、现象:队列卡住的三层表现

一、现象:队列卡住的三层表现

[wanglaowu]先看到的是采集端不再出数:Prometheus 里 node_systemd_unit_state 的 active 一直是 1,可 job 队列长度在三分钟内从 0 涨到 2417 再没动过,unit 的 Tasks 计数稳定在 512 这个上限。第二层是应用层假死,journalctl -u ingest-worker -n 50 --no-pager 只剩最后一行反复刷:

Mar 14 09:21:07 host-07 ingest-worker[1183]: queue_wait_ms=0 batches=0 conn=OK

队列自称空闲、连接自称正常,消费速率却是 0,心跳每 5 秒一条,持续了 41 分钟。第三层落在客户端:上游推流侧开始报

write tcp 10.20.3.11:52340->10.20.3.8:9000: i/o timeout

9000 端口对应 worker 的 gRPC 监听,也就是和上一节提到的 systemd 启动参数 --listen=:9000 一致,重试 3 次后上游把这条流判为失败,后面每条都跟着超时。三层摆在一起就看得出方向不对:进程活着、连接建着、队列却只增不减,说明阻塞不在应用线程里,而在更下面的挂起点上,这个判断直接指向下一节要做的 cgroup 指标反推。

验证方法:对同一时刻取 systemctl show ingest-worker -p TasksCurrent、ss -tn state established '( sport = :9000 )'、journalctl 里最后一条 queue_wait_ms 三者对照,时间戳能对齐就是同一阻塞窗口。

二、从 cgroup 指标反推阻塞点

[wanglaowu]先把三层指标按同一时间戳拉齐,再看 cgroup 里哪一层先动。登录节点执行systemd-cgtop -m --order=memory,对 ingest-worker.slice 观察 41 分钟内 CPU 一直贴着 0.3%,TasksCurrent 稳定在 128,说明线程池没有饥饿、也没有线程在跑,wait 全耗在同步点上。接着读 memory.pressure 与 io.pressure:some avg10 只有 1.2%,full avg10 从阻塞开始前 4 分钟起持续 78% 以上,full 代表所有任务都被卡住,这就是挂起点的指纹。

往下钻 processes 计数与 pids.max,两者相等且 pids.current 顶在 4096,fork 失败但线程未退出,进一步看 cpu.stat 里 nr_throttled 与 throttled_usec,确认并非 CPU 配额打满。最后对照 proto 侧:ss -tnmi '( sport = :9000 )' 看到 Recv-Q 一直攀升到 32768、Send-Q 为 0,cgroup 的 full 压力峰值正好出现在 Recv-Q 越过 socket 默认接收缓冲区的 32768 那一秒,说明 worker 已不再 read(2),是用户态线程卡在写日志的 write 上而不是网络栈。journalctl -u ingest-worker --since "41 min ago" | grep queue_wait_ms 里最后一条停在 41307,与 full avg10 抬升时刻相差不到 2 秒,三者对齐后阻塞点锁定在日志写入路径,下一节把 gRPC 交互日志和它逐条对齐。验证:cat /sys/fs/cgroup/ingest-worker.slice/io.pressure 取 full avg10,再跑一次 ss -tnmi,Recv-Q 持续非零且不回落即为同一窗口。

三、协议交互日志对齐修复

[wanglaowu]先把 gRPC 侧的交互日志从服务端访问日志里剥出来,抓同一窗口的 RPC 生命周期。用 grpcurl 带反射和 v 参数复放慢调用,确认阻塞点在 unary 的 server 侧 handler 返回之前:

grpcurl -plaintext -v -d '{"batch":4096}' 127.0.0.1:9000 ingest.v1.IngestService/IngestBatch

-v 输出的 timing 里 server 侧只有 message 和 trailer 两行,中间的 handler 耗时落在 41.1s 处,和 journalctl 里最后一条 queue_wait_ms 41307 对得上。再翻 worker 自己的结构化日志,每条 RPC 打了 trace_id、recv_ns、first_read_ns、handler_done_ns,用 jq 按 trace_id 归并:

jq -c 'select(.trace_id=="a3f9c1e2") | {recv_ns,first_read_ns,handler_done_ns}' /var/log/ingest-worker/rpc.jsonl

结果 first_read_ns 距 recv_ns 只有 0.4ms,说明请求侧收得快;handler_done_ns 距 first_read_ns 是 41.2s,中间全部耗在 handler 内部的 logger.Info 上。对照 oTel 里那段 span,logger 写 stdout 的 write(2) 一直返回 EAGAIN,因为 journald 的 StdoutMaxLevel 和容器 stdout 管道被写满,worker 卡在同步写。修复是给 log 库换成非阻塞的 zapcore.LockingWriter 加 ring buffer,超过 8MB 直接丢弃 debug 级;同时把 stdout 交给 journald 的 socket 而不是 pipe。改完重启,ss -tnmi 的 Recv-Q 在压测 30 万请求后回落为 0,full avg10 稳定在 2% 以下,queue_wait_ms 最大值从 41307 降到 231。验证:再跑一次 grpcurl -v,server 侧 handler 耗时压到 300ms 内且 rpc.jsonl 中 first_read_ns 与 handler_done_ns 差值不再出现 40s 量级。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。