systemd 单元依赖图排障:从启动超时到协议握手
一、依赖图与启动顺序的本质
[wanglaowu]依赖图不是一棵树,是一张有向图,这点先记住。systemd 启动单元时先算依赖关系,After/Before 只定先后顺序,真正决定“能不能启动”的是 Requires 和 Wants:Requires 失败则本单元一定失败,Wants 失败只会记一笔,本单元照样跑。所以排查超时要先分清是“顺序卡住”还是“依赖缺失”,两者日志样子完全不同。
拿一套 systemd 249 的机器看,服务 myapp.service 启动报了 Job for myapp.service failed because a timeout was exceeded,See "systemctl status myapp.service" and "journalctl -xe" for details。第一件事不是改超时值,是看依赖链:
systemctl list-dependencies --all myapp.service
systemctl show -p After,Before,Requires,Wants,Requisite myapp.service
list-dependencies 默认只展开当前加载的单元,加 --all 才把未激活的拉出来。系统在启动时有个默认超时 DefaultTimeoutStartSec,249 上默认 90 秒,单元里写 TimeoutStartSec= 会覆盖它。日志里出现“start operation timed out. Terminating.”就说明是 unit 层超时,不是程序自己退出;紧接着那条“Failed with result 'timeout'.”才是结论行。
依赖图里还有个容易忽略的点:After 与 Requires 不互为因果。只写 After 不会拉起对方,只写 Requires 不会等对方就绪。两个都写,才既有顺序又有依赖,这是启动顺序问题的第一层本质。
二、超时日志逐层下钻定位
[wanglaowu]日志里第一条时间戳只是 unit 开始激活的时刻,真正超时的那条“start operation timed out. Terminating.”往往要等到 DefaultTimeoutStartSec 到期才冒出来。249 上默认 90 秒,所以两条时间戳之间隔着将近 90 秒的静默,这 90 秒恰恰是下钻的起点。先确认是不是 unit 层超时:
journalctl -u myapp.service -o short-iso --since "10 min ago" | grep -n -E "Starting|timed out|Failed with result"
看“Starting”到“timed out”之间的间隔,等于 90 秒就是撞上 TimeoutStartSec 或 DefaultTimeoutStartSec,短于 90 秒则是程序自己崩了还在重试。锁定是超时之后,用 systemd-analyze 把这条链的耗时摊开:
systemd-analyze critical-chain myapp.service
systemd-analyze blame | head -20
critical-chain 里每个节点后面标着 @时间点,加号后是该单元自身的激活耗时,谁身上挂了 90 秒一目了然。接着用 show 把该单元的有效超时值调出来,确认是单元自己写的还是继承的默认值:
systemctl show -p TimeoutStartUSec myapp.service
回显 TimeoutStartUSec=1min 30s 说明没覆盖,回显别的值就是单元里写死了。再去下层单元身上看,因为 After 只排顺序不拉起,真正被 Requires 拖住的往往是下游,逐层对 After 链上每个单元重复 critical-chain,直到某一段的耗时凸起明显偏离其他节点。最后一步反查这条静默期的实际动作,用 pid 抓进程树里卡住的子进程:
systemctl status myapp.service -l --no-pager
ps -eo pid,ppid,etime,cmd --forest | grep -A3 myapp
status 的 Active 行给的是主进程最后状态,CGroup 段能看全部子进程,etime 的秒数正好对上那 90 秒的,就是卡住的那一个。
三、握手失败的手工复现法
[wanglaowu]依赖层查完还没完,超时常常是握手阶段的静默等待,不是单元本身慢。先手工复现,把 systemd 那层的时间嵌进去看。用 openssl s_client 对着服务实际监听的端口打一次,强制指定与单元里一致的协议版本和 SNI:
openssl s_client -connect 127.0.0.1:8443 -servername myapp.local -tls1_2 -state -msg -debug
握手若能完成,末尾会打出 Verify return code: 0 (ok) 和 New, TLSv1.2, Cipher is ECDHE-RSA-AES256-GCM-SHA384;卡在 CONNECTED(00000003) 之后不再前进,多半是 TCP 通了但对端没进 TLS 状态机。再看耗时分布,加 -tlsextdebug 并把 stderr 重定向计时:
time openssl s_client -connect 127.0.0.1:8443 -servername myapp.local -tls1_2 -brief
若输出在 90 秒左右才返回 handshake failure,与 TimeoutStartUSec 的 1min30s 吻合,就说明超时是被握手拖满的,单元其实在等下游服务回 TLS ServerHello。接着反向验证对端是否在等客户端证书,跳过证书校验再打一次:
openssl s_client -connect 127.0.0.1:8443 -servername myapp.local -tls1_2 -ign_eof -verify 0 -CAfile /etc/ssl/certs/ca-certificates.crt
回显里出现 alert handshake failure 和 alert certificate required,即知对端配了 ClientAuth,而单元里没喂证书,握手卡在 CertificateRequest 后无响应,systemd 侧表现为静默到超时。
- 点赞
- 收藏
- 关注作者
评论(0)