加了一行 Restart=always,我们多跑了三个月没发现内存泄漏

举报
yd_222030558 发表于 2026/11/14 00:11:17 2026/11/14
【摘要】 一个把故障藏起来的配置。讲 systemd 重启策略的副作用,以及怎么用 NRestarts 告警和 StartLimitBurst 把问题重新暴露出来。

起因


一个内部服务跑在一台 4G 内存的机器上,每隔几天就 OOM 被杀。当时急着上线,运维同事在 unit 文件里加了一行:


Restart=always


服务挂了自动拉起,业务方感知不到。当时大家都觉得这个方案挺聪明——用三行配置换来了高可用。


三个月后做季度复盘,我随手 systemctl status 看了一眼:


Active: active (running) since Thu 2026-08-13 02:17:41 CST; 2h 41min ago


旁边一行小字:


NRestarts=427


三个月重启了 427 次,平均一天 4.7 次。每一次都是一次 OOM。


它掩盖了什么


Restart=always 只做一件事:进程退出就重新拉起。它不判断为什么退出。于是:

· 内存泄漏 → 进程被杀 → 自动拉起 → 内存从头开始涨 → 又被杀。循环。

· 磁盘写满 → 进程写日志失败退出 → 拉起 → 还是写不进去 → 又退出。

· 数据库连不上 → 启动时连接失败退出 → 拉起 → 还是连不上。


这三种情况的共同点是:根因一直在,只是被重启掩盖了。而且掩盖得越久,症状越会在最不该出现的时候爆发——比如某次启动失败重试太多次,触发了限流,服务真的起不来了。


更糟的是,如果这个服务是集群里的一个节点,它反复重启会让上游负载均衡把请求打散到其他节点,看起来「整体健康」,但实际容量一直在缩水。做容量规划的人会完全判断失误。


正确的读法


systemctl show 能给出一堆有用的计数:


systemctl show myapp -p NRestarts -p ActiveEnterTimestamp -p ExecMainStartTimestamp


NRestarts 就是重启次数。这个数字应该被采集并告警,而不是被当成正常现象。


一行命令把它变成指标:


systemctl show myapp -p NRestarts --value


扔进 Prometheus 的 textfile collector,或者简单的定时上报脚本,成本几乎为零。


告警规则可以写得很朴素:一小时内重启次数 > 2 就告警。健康的服务重启次数应该是 0。


关于 Restart= 的四个取值


这个选项有四个值,很多人只记得 always:

· no:不重启。适合一次性的任务型服务。

· on-success:只有正常退出(exit 0)才重启。基本没用,正常退出的服务通常不该重启。

· on-failure:非零退出、被信号杀死、超时才重启。这是最该用的值。

· always:不管怎么退出都重启。


on-failure 是默认值,也是大多数场景的正确选择。它和 always 的区别在于:服务是被 systemctl stop 正常停掉的,always 会把它拉起来(除非 stop 时 systemd 标记了),而 on-failure 不会。


被 OOM Killer 杀掉属于「被信号杀死」,on-failure 也会重启。 所以光改成 on-failure 并不能阻止掩盖,但至少正常停止的行为是对的。


让它别重启得那么勤


真正的改善在另外两个参数:


[Service]

Restart=on-failure

RestartSec=10s

StartLimitIntervalSec=300

StartLimitBurst=5


RestartSec=10s:重启前等 10 秒。默认是 100ms,意味着服务如果一启动就崩,systemd 会以极快速度反复重启,日志瞬间刷满,CPU 直接跑满。等 10 秒能挡掉这种雪崩。


StartLimitIntervalSec + StartLimitBurst:5 分钟内最多重启 5 次,超了就彻底放弃,状态变成 failed。


这一条是关键。它把「无限重启」变成「有限重试后明确失败」。服务真的坏了,你会在 5 分钟内收到告警,而不是三个月后才发现。


注意这两个参数的位置:StartLimitIntervalSec 和 StartLimitBurst 在 [Unit] 段,不在 [Service] 段。写在 [Service] 里 systemd 不会报错,但也不生效——这是个老坑,systemd 早期版本它们在 [Service] 里,后来迁移了。


重启后要留证据


进程被杀之后现场就没了,Restart=always 会立刻用干净的进程覆盖上去。想事后分析,得提前准备:


一、开启 coredump。


/etc/systemd/coredump.conf

[Coredump]

Storage=external

MaxUse=5G


然后 coredumpctl list myapp 能看到所有崩溃记录,coredumpctl gdb 直接进调试器。


二、退出码要记下来。


journalctl -u myapp --since "3 days ago" | grep -i "killed\|signal\|exit"


OOM 被杀的日志长这样:


kernel: Out of memory: Killed process 12345 (node) total-vm:2100000kB


看到 Out of memory 就知道是内存问题,不用再猜。


三、应用自己上报退出原因。 在 SIGTERM 处理里打一条带内存快照的日志:


process.on('SIGTERM', () => {

  const m = process.memoryUsage();

  logger.error({ event: 'shutdown', heapMB: m.heapUsed / 1048576, rssMB: m.rss / 1048576 });

  process.exit(0);

});


注意 OOM Killer 发的是 SIGKILL,捕获不到。所以这条只对正常停机和内存告警类退出有效,OOM 还得靠内核日志。


复盘:当时应该怎么做


如果回到三个月前,正确的做法是:


1. Restart=on-failure + RestartSec=10s + StartLimitBurst=5,先让它「重启但有限度」。

2. 当天就把 NRestarts 接进监控,阈值设 1 小时内 > 2 就告警。

3. 收到告警之后按正常流程查内存泄漏(看 heap 曲线、拍 snapshot)。

4. 修好了再考虑要不要放宽重启策略。


自动重启是兜底手段,不是解决方案。 它和「异常吞掉不处理」是同一类做法——让问题不可见,然后假装它不存在。


判断标准很简单:如果一项自动化措施让你看不到某个指标变差,那它就是有害的。健康的重启策略应该让你在第一次异常重启时就知道。


小结

· Restart=always 会掩盖根因,用 on-failure。

· RestartSec 避免崩溃时疯狂重启刷日志。

· StartLimitBurst + StartLimitIntervalSec 写在 [Unit] 段,让失败变成明确的 failed 状态。

· NRestarts 必须进监控并告警,健康服务这个值应该稳定为 0。

· 提前配好 coredump 和退出日志,别等出事了才发现没现场。

· 任何「让指标变好但让问题不可见」的配置,都要重新审视。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。