定时任务被静默覆盖的排查与迁移
问题现场:任务不是没跑,是被删了
周三早上收到告警:凌晨 2 点的数据同步任务没有执行。登录机器 crontab -l 一看,任务确实不在了。但同事说昨天下午还手动跑过一次,一切正常。机器没有重启,crond 进程在跑,/var/log/cron 里也没有任何错误。
这类“昨天还好好的”问题,九成不是 cron 本身坏了,而是 crontab 文件被别的东西改写了。crontab -l 看到的是 /var/spool/cron/<user> 这个文件的内容,谁有权限写这个文件,谁就能让你的任务消失。
第一步:先确认是“没执行”还是“不存在”
不要一上来就怀疑 crond。先分清两件事:
- 任务还在,但没跑 —— 查
systemctl status crond、/var/log/cron、脚本自身的日志和退出码。 - 任务不在了 —— 查文件修改时间。
执行:
stat /var/spool/cron/root
重点看 Modify 和 Change 两个时间戳。如果 Modify 时间落在你最后一次确认任务存在的时刻之后,说明文件确实被重写过。我这次看到的是 Modify: 2026-11-19 23:59:30,而任务消失的时间点也在这个区间,基本可以锁定是外部程序改的。
第二步:用备份时间戳链反查覆盖者
很多人不知道,crontab 命令自己会留备份。crontab -e 或 crontab file 每次写入前,会把旧内容存到 /var/spool/cron/ 下的备份文件里(不同发行版命名略有差异,常见形如 root.bak 或带时间后缀的文件)。先列出来:
ls -la --time-style=full-iso /var/spool/cron/
按修改时间排序,你会得到一条时间戳链。把相邻两个备份做 diff:
diff /var/spool/cron/root.bak /var/spool/cron/root
如果 diff 结果是“你的任务被整段删掉、同时出现了一段你不认识的内容”,那覆盖者就是写入这段内容的人。我这次的 diff 里多出了三行,其中一行是 */1 * * * * /opt/sync/push.sh,而这个脚本所在的目录属于另一个业务团队。
接着反查这个脚本是谁在调用、什么时候调用:
grep -r "crontab" /opt/sync/ 2>/dev/null
很快就找到了 /opt/sync/apply_cron.sh,里面写着:先把模板 /opt/sync/cron.tpl 渲染成临时文件,再执行 crontab /tmp/cron.$$。而这个脚本被一个 */1 的守护任务每 30 秒拉起一次。真相是:它每次都用模板整体覆盖 live crontab,模板里没有的任务,30 秒内必然消失。
如果你机器上没有可用的 crontab 备份,还有两个补充手段:
ausearch -f /var/spool/cron/root -i(需开启 auditd 对文件写入的监控)grep crontab /var/log/secure,看是否有其他账号在非工作时间执行过 crontab 命令
定位到之后,先止血:把覆盖脚本里的 crontab /tmp/cron.$$ 临时注释掉,或者在模板里把你的任务补进去——但补模板只是权宜之计,下次模板更新你还会中招。
第三步:把任务迁出共享的 live crontab
根本问题是多个团队共用一个 crontab 文件,谁写都是全量覆盖。正确做法是让每个任务拥有自己独立的调度入口。有两种选择。
方案 A:容器内用 /etc/cron.d 分文件
如果你的服务跑在容器里,别在容器启动时执行 crontab -u app xxx,那同样是写 live crontab。改成放一个独立文件:
/etc/cron.d/app-sync,内容:
*/1 * * * * app /usr/local/bin/sync.sh >> /var/log/sync.log 2>&1
注意三点:cron.d 里的条目必须写用户字段(上面第二列的 app);文件权限必须是 644 且属主 root,否则 cron 会静默忽略;文件末尾要留一个换行,否则最后一条不生效。
适用条件:镜像里装了 cron 并且容器前台进程会拉起 crond -f。如果容器是单进程模型(只有一个业务进程),这套方案不成立,直接看方案 B。
方案 B:systemd timer
宿主机上的任务优先用 systemd timer,它和 crontab 文件完全解耦,不会被人 crontab xxx 覆盖。两个文件:
/etc/systemd/system/sync.service:
[Unit]Description=Data sync[Service]Type=oneshotUser=appExecStart=/usr/local/bin/sync.sh
/etc/systemd/system/sync.timer:
[Unit]Description=Run sync every 30s[Timer]OnBootSec=60sOnUnitActiveSec=30sAccuracySec=1s[Install]WantedBy=timers.target
启用并验证:
systemctl daemon-reloadsystemctl enable --now sync.timersystemctl list-timers sync.timerjournalctl -u sync.service -n 20
注意 AccuracySec 默认是 1 分钟,做 30 秒级调度必须显式改成 1s,否则实际间隔会被合并。Type=oneshot 也不能省,否则 systemd 会认为服务一直在运行而不再触发下一次。
怎么选
- 任务跑在容器里、镜像自带 cron、需要和业务进程同生命周期 —— 用
/etc/cron.d分文件,改动最小。 - 任务跑在宿主机、需要秒级间隔、需要看每次执行的日志和退出码 —— 用 systemd timer,
journalctl直接能查,比翻 cron 日志省事。 - 无论选哪个,都不要再让任何脚本对 live crontab 做全量写入。共享的 crontab 文件本身就是故障源。
- 点赞
- 收藏
- 关注作者
评论(0)