定时任务被静默覆盖的排查与迁移

举报
yd_254065487 发表于 2026/11/21 06:41:26 2026/11/21
【摘要】 线上 crontab 任务莫名消失,本文用备份时间戳链定位覆盖来源,并给出两种独立调度方案。

问题现场:任务不是没跑,是被删了

周三早上收到告警:凌晨 2 点的数据同步任务没有执行。登录机器 crontab -l 一看,任务确实不在了。但同事说昨天下午还手动跑过一次,一切正常。机器没有重启,crond 进程在跑,/var/log/cron 里也没有任何错误。

这类“昨天还好好的”问题,九成不是 cron 本身坏了,而是 crontab 文件被别的东西改写了。crontab -l 看到的是 /var/spool/cron/<user> 这个文件的内容,谁有权限写这个文件,谁就能让你的任务消失。

第一步:先确认是“没执行”还是“不存在”

不要一上来就怀疑 crond。先分清两件事:

  • 任务还在,但没跑 —— 查 systemctl status crond、/var/log/cron、脚本自身的日志和退出码。
  • 任务不在了 —— 查文件修改时间。

执行:

stat /var/spool/cron/root

重点看 Modify 和 Change 两个时间戳。如果 Modify 时间落在你最后一次确认任务存在的时刻之后,说明文件确实被重写过。我这次看到的是 Modify: 2026-11-19 23:59:30,而任务消失的时间点也在这个区间,基本可以锁定是外部程序改的。

第二步:用备份时间戳链反查覆盖者

很多人不知道,crontab 命令自己会留备份。crontab -e 或 crontab file 每次写入前,会把旧内容存到 /var/spool/cron/ 下的备份文件里(不同发行版命名略有差异,常见形如 root.bak 或带时间后缀的文件)。先列出来:

ls -la --time-style=full-iso /var/spool/cron/

按修改时间排序,你会得到一条时间戳链。把相邻两个备份做 diff:

diff /var/spool/cron/root.bak /var/spool/cron/root

如果 diff 结果是“你的任务被整段删掉、同时出现了一段你不认识的内容”,那覆盖者就是写入这段内容的人。我这次的 diff 里多出了三行,其中一行是 */1 * * * * /opt/sync/push.sh,而这个脚本所在的目录属于另一个业务团队。

接着反查这个脚本是谁在调用、什么时候调用:

grep -r "crontab" /opt/sync/ 2>/dev/null

很快就找到了 /opt/sync/apply_cron.sh,里面写着:先把模板 /opt/sync/cron.tpl 渲染成临时文件,再执行 crontab /tmp/cron.$$。而这个脚本被一个 */1 的守护任务每 30 秒拉起一次。真相是:它每次都用模板整体覆盖 live crontab,模板里没有的任务,30 秒内必然消失。

如果你机器上没有可用的 crontab 备份,还有两个补充手段:

  • ausearch -f /var/spool/cron/root -i(需开启 auditd 对文件写入的监控)
  • grep crontab /var/log/secure,看是否有其他账号在非工作时间执行过 crontab 命令

定位到之后,先止血:把覆盖脚本里的 crontab /tmp/cron.$$ 临时注释掉,或者在模板里把你的任务补进去——但补模板只是权宜之计,下次模板更新你还会中招。

第三步:把任务迁出共享的 live crontab

根本问题是多个团队共用一个 crontab 文件,谁写都是全量覆盖。正确做法是让每个任务拥有自己独立的调度入口。有两种选择。

方案 A:容器内用 /etc/cron.d 分文件

如果你的服务跑在容器里,别在容器启动时执行 crontab -u app xxx,那同样是写 live crontab。改成放一个独立文件:

/etc/cron.d/app-sync,内容:

*/1 * * * * app /usr/local/bin/sync.sh >> /var/log/sync.log 2>&1

注意三点:cron.d 里的条目必须写用户字段(上面第二列的 app);文件权限必须是 644 且属主 root,否则 cron 会静默忽略;文件末尾要留一个换行,否则最后一条不生效。

适用条件:镜像里装了 cron 并且容器前台进程会拉起 crond -f。如果容器是单进程模型(只有一个业务进程),这套方案不成立,直接看方案 B。

方案 B:systemd timer

宿主机上的任务优先用 systemd timer,它和 crontab 文件完全解耦,不会被人 crontab xxx 覆盖。两个文件:

/etc/systemd/system/sync.service:

[Unit]
Description=Data sync
[Service]
Type=oneshot
User=app
ExecStart=/usr/local/bin/sync.sh

/etc/systemd/system/sync.timer:

[Unit]
Description=Run sync every 30s
[Timer]
OnBootSec=60s
OnUnitActiveSec=30s
AccuracySec=1s
[Install]
WantedBy=timers.target

启用并验证:

systemctl daemon-reload
systemctl enable --now sync.timer
systemctl list-timers sync.timer
journalctl -u sync.service -n 20

注意 AccuracySec 默认是 1 分钟,做 30 秒级调度必须显式改成 1s,否则实际间隔会被合并。Type=oneshot 也不能省,否则 systemd 会认为服务一直在运行而不再触发下一次。

怎么选

  • 任务跑在容器里、镜像自带 cron、需要和业务进程同生命周期 —— 用 /etc/cron.d 分文件,改动最小。
  • 任务跑在宿主机、需要秒级间隔、需要看每次执行的日志和退出码 —— 用 systemd timer,journalctl 直接能查,比翻 cron 日志省事。
  • 无论选哪个,都不要再让任何脚本对 live crontab 做全量写入。共享的 crontab 文件本身就是故障源。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。