systemd 单元依赖图排障:从启动超时到协议握手

举报
yd_246468676 发表于 2026/11/11 00:17:33 2026/11/11
【摘要】 一、依赖图与启动顺序的本质

一、依赖图与启动顺序的本质

[wanglaowu]依赖图不是一棵树,是一张有向图,这点先记住。systemd 启动单元时先算依赖关系,After/Before 只定先后顺序,真正决定“能不能启动”的是 Requires 和 Wants:Requires 失败则本单元一定失败,Wants 失败只会记一笔,本单元照样跑。所以排查超时要先分清是“顺序卡住”还是“依赖缺失”,两者日志样子完全不同。

拿一套 systemd 249 的机器看,服务 myapp.service 启动报了 Job for myapp.service failed because a timeout was exceeded,See "systemctl status myapp.service" and "journalctl -xe" for details。第一件事不是改超时值,是看依赖链:

systemctl list-dependencies --all myapp.service

systemctl show -p After,Before,Requires,Wants,Requisite myapp.service

list-dependencies 默认只展开当前加载的单元,加 --all 才把未激活的拉出来。系统在启动时有个默认超时 DefaultTimeoutStartSec,249 上默认 90 秒,单元里写 TimeoutStartSec= 会覆盖它。日志里出现“start operation timed out. Terminating.”就说明是 unit 层超时,不是程序自己退出;紧接着那条“Failed with result 'timeout'.”才是结论行。

依赖图里还有个容易忽略的点:After 与 Requires 不互为因果。只写 After 不会拉起对方,只写 Requires 不会等对方就绪。两个都写,才既有顺序又有依赖,这是启动顺序问题的第一层本质。

二、超时日志逐层下钻定位

[wanglaowu]日志里第一条时间戳只是 unit 开始激活的时刻,真正超时的那条“start operation timed out. Terminating.”往往要等到 DefaultTimeoutStartSec 到期才冒出来。249 上默认 90 秒,所以两条时间戳之间隔着将近 90 秒的静默,这 90 秒恰恰是下钻的起点。先确认是不是 unit 层超时:

journalctl -u myapp.service -o short-iso --since "10 min ago" | grep -n -E "Starting|timed out|Failed with result"

看“Starting”到“timed out”之间的间隔,等于 90 秒就是撞上 TimeoutStartSec 或 DefaultTimeoutStartSec,短于 90 秒则是程序自己崩了还在重试。锁定是超时之后,用 systemd-analyze 把这条链的耗时摊开:

systemd-analyze critical-chain myapp.service

systemd-analyze blame | head -20

critical-chain 里每个节点后面标着 @时间点,加号后是该单元自身的激活耗时,谁身上挂了 90 秒一目了然。接着用 show 把该单元的有效超时值调出来,确认是单元自己写的还是继承的默认值:

systemctl show -p TimeoutStartUSec myapp.service

回显 TimeoutStartUSec=1min 30s 说明没覆盖,回显别的值就是单元里写死了。再去下层单元身上看,因为 After 只排顺序不拉起,真正被 Requires 拖住的往往是下游,逐层对 After 链上每个单元重复 critical-chain,直到某一段的耗时凸起明显偏离其他节点。最后一步反查这条静默期的实际动作,用 pid 抓进程树里卡住的子进程:

systemctl status myapp.service -l --no-pager

ps -eo pid,ppid,etime,cmd --forest | grep -A3 myapp

status 的 Active 行给的是主进程最后状态,CGroup 段能看全部子进程,etime 的秒数正好对上那 90 秒的,就是卡住的那一个。

三、握手失败的手工复现法

[wanglaowu]依赖层查完还没完,超时常常是握手阶段的静默等待,不是单元本身慢。先手工复现,把 systemd 那层的时间嵌进去看。用 openssl s_client 对着服务实际监听的端口打一次,强制指定与单元里一致的协议版本和 SNI:

openssl s_client -connect 127.0.0.1:8443 -servername myapp.local -tls1_2 -state -msg -debug

握手若能完成,末尾会打出 Verify return code: 0 (ok) 和 New, TLSv1.2, Cipher is ECDHE-RSA-AES256-GCM-SHA384;卡在 CONNECTED(00000003) 之后不再前进,多半是 TCP 通了但对端没进 TLS 状态机。再看耗时分布,加 -tlsextdebug 并把 stderr 重定向计时:

time openssl s_client -connect 127.0.0.1:8443 -servername myapp.local -tls1_2 -brief

若输出在 90 秒左右才返回 handshake failure,与 TimeoutStartUSec 的 1min30s 吻合,就说明超时是被握手拖满的,单元其实在等下游服务回 TLS ServerHello。接着反向验证对端是否在等客户端证书,跳过证书校验再打一次:

openssl s_client -connect 127.0.0.1:8443 -servername myapp.local -tls1_2 -ign_eof -verify 0 -CAfile /etc/ssl/certs/ca-certificates.crt

回显里出现 alert handshake failure 和 alert certificate required,即知对端配了 ClientAuth,而单元里没喂证书,握手卡在 CertificateRequest 后无响应,systemd 侧表现为静默到超时。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。