加了一行 Restart=always,我们多跑了三个月没发现内存泄漏
起因
一个内部服务跑在一台 4G 内存的机器上,每隔几天就 OOM 被杀。当时急着上线,运维同事在 unit 文件里加了一行:
Restart=always
服务挂了自动拉起,业务方感知不到。当时大家都觉得这个方案挺聪明——用三行配置换来了高可用。
三个月后做季度复盘,我随手 systemctl status 看了一眼:
Active: active (running) since Thu 2026-08-13 02:17:41 CST; 2h 41min ago
旁边一行小字:
NRestarts=427
三个月重启了 427 次,平均一天 4.7 次。每一次都是一次 OOM。
它掩盖了什么
Restart=always 只做一件事:进程退出就重新拉起。它不判断为什么退出。于是:
· 内存泄漏 → 进程被杀 → 自动拉起 → 内存从头开始涨 → 又被杀。循环。
· 磁盘写满 → 进程写日志失败退出 → 拉起 → 还是写不进去 → 又退出。
· 数据库连不上 → 启动时连接失败退出 → 拉起 → 还是连不上。
这三种情况的共同点是:根因一直在,只是被重启掩盖了。而且掩盖得越久,症状越会在最不该出现的时候爆发——比如某次启动失败重试太多次,触发了限流,服务真的起不来了。
更糟的是,如果这个服务是集群里的一个节点,它反复重启会让上游负载均衡把请求打散到其他节点,看起来「整体健康」,但实际容量一直在缩水。做容量规划的人会完全判断失误。
正确的读法
systemctl show 能给出一堆有用的计数:
systemctl show myapp -p NRestarts -p ActiveEnterTimestamp -p ExecMainStartTimestamp
NRestarts 就是重启次数。这个数字应该被采集并告警,而不是被当成正常现象。
一行命令把它变成指标:
systemctl show myapp -p NRestarts --value
扔进 Prometheus 的 textfile collector,或者简单的定时上报脚本,成本几乎为零。
告警规则可以写得很朴素:一小时内重启次数 > 2 就告警。健康的服务重启次数应该是 0。
关于 Restart= 的四个取值
这个选项有四个值,很多人只记得 always:
· no:不重启。适合一次性的任务型服务。
· on-success:只有正常退出(exit 0)才重启。基本没用,正常退出的服务通常不该重启。
· on-failure:非零退出、被信号杀死、超时才重启。这是最该用的值。
· always:不管怎么退出都重启。
on-failure 是默认值,也是大多数场景的正确选择。它和 always 的区别在于:服务是被 systemctl stop 正常停掉的,always 会把它拉起来(除非 stop 时 systemd 标记了),而 on-failure 不会。
被 OOM Killer 杀掉属于「被信号杀死」,on-failure 也会重启。 所以光改成 on-failure 并不能阻止掩盖,但至少正常停止的行为是对的。
让它别重启得那么勤
真正的改善在另外两个参数:
[Service]
Restart=on-failure
RestartSec=10s
StartLimitIntervalSec=300
StartLimitBurst=5
RestartSec=10s:重启前等 10 秒。默认是 100ms,意味着服务如果一启动就崩,systemd 会以极快速度反复重启,日志瞬间刷满,CPU 直接跑满。等 10 秒能挡掉这种雪崩。
StartLimitIntervalSec + StartLimitBurst:5 分钟内最多重启 5 次,超了就彻底放弃,状态变成 failed。
这一条是关键。它把「无限重启」变成「有限重试后明确失败」。服务真的坏了,你会在 5 分钟内收到告警,而不是三个月后才发现。
注意这两个参数的位置:StartLimitIntervalSec 和 StartLimitBurst 在 [Unit] 段,不在 [Service] 段。写在 [Service] 里 systemd 不会报错,但也不生效——这是个老坑,systemd 早期版本它们在 [Service] 里,后来迁移了。
重启后要留证据
进程被杀之后现场就没了,Restart=always 会立刻用干净的进程覆盖上去。想事后分析,得提前准备:
一、开启 coredump。
/etc/systemd/coredump.conf
[Coredump]
Storage=external
MaxUse=5G
然后 coredumpctl list myapp 能看到所有崩溃记录,coredumpctl gdb 直接进调试器。
二、退出码要记下来。
journalctl -u myapp --since "3 days ago" | grep -i "killed\|signal\|exit"
OOM 被杀的日志长这样:
kernel: Out of memory: Killed process 12345 (node) total-vm:2100000kB
看到 Out of memory 就知道是内存问题,不用再猜。
三、应用自己上报退出原因。 在 SIGTERM 处理里打一条带内存快照的日志:
process.on('SIGTERM', () => {
const m = process.memoryUsage();
logger.error({ event: 'shutdown', heapMB: m.heapUsed / 1048576, rssMB: m.rss / 1048576 });
process.exit(0);
});
注意 OOM Killer 发的是 SIGKILL,捕获不到。所以这条只对正常停机和内存告警类退出有效,OOM 还得靠内核日志。
复盘:当时应该怎么做
如果回到三个月前,正确的做法是:
1. Restart=on-failure + RestartSec=10s + StartLimitBurst=5,先让它「重启但有限度」。
2. 当天就把 NRestarts 接进监控,阈值设 1 小时内 > 2 就告警。
3. 收到告警之后按正常流程查内存泄漏(看 heap 曲线、拍 snapshot)。
4. 修好了再考虑要不要放宽重启策略。
自动重启是兜底手段,不是解决方案。 它和「异常吞掉不处理」是同一类做法——让问题不可见,然后假装它不存在。
判断标准很简单:如果一项自动化措施让你看不到某个指标变差,那它就是有害的。健康的重启策略应该让你在第一次异常重启时就知道。
小结
· Restart=always 会掩盖根因,用 on-failure。
· RestartSec 避免崩溃时疯狂重启刷日志。
· StartLimitBurst + StartLimitIntervalSec 写在 [Unit] 段,让失败变成明确的 failed 状态。
· NRestarts 必须进监控并告警,健康服务这个值应该稳定为 0。
· 提前配好 coredump 和退出日志,别等出事了才发现没现场。
· 任何「让指标变好但让问题不可见」的配置,都要重新审视。
- 点赞
- 收藏
- 关注作者
评论(0)