一次 ECS 磁盘空间告警的排查与清理复盘
凌晨,手机上弹出一条 ECS 磁盘空间告警:根分区使用率超过 90%。这台 ECS 跑着业务服务和几个 Docker 容器,磁盘一旦写满,服务写日志失败、容器无法启动,后果比告警本身严重得多。本文复盘这次从告警到恢复、再到防复发的完整过程。
一、先定位:df 与 du 逐层收窄
收到告警后第一件事不是删文件,而是确认“满在哪里、被谁占了”。先看整体:
df -h
df -h 显示根分区 / 使用率 92%,确认告警属实。接着用 du 从根目录逐层往下找:
du -sh /* | sort -rh | head -n 10
du -sh /var/* | sort -rh | head -n 10
du -sh /var/lib/docker/* | sort -rh | head -n 10
逐层定位的结果很典型,占用集中在三处:/var/log/journal 的 systemd 日志超过 20GB;Docker 的 overlay2 与镜像层长期累积,占用超过 30GB;/tmp 与软件包缓存里还躺着一批几个月前的过期安装包。定位清楚再动手,删除才不会误伤业务数据。动手前先做两件事:确认没有正在写入的大文件被误删的风险,对关键业务日志做一次快照备份。
二、分类处理:日志、镜像、安装包分开清理
1. 系统日志:journalctl 按容量压缩
systemd 日志默认不设上限,越攒越多。用容量而不是时间做清理,效果最可控:
journalctl --disk-usage
journalctl --vacuum-size=500M
一条命令把 journal 压到 500MB 以内,释放了近 20GB。之后再查 journalctl --disk-usage,确认已回到合理范围。
2. Docker:只清一个月未用的镜像
Docker 占用要分清镜像、容器、构建缓存,不能一刀切。先看占用分布,再清理一个月未使用的镜像和悬空资源:
docker system df
docker system prune -a --filter "until=720h"
until=720h 即 30 天,只清理一个月未被使用的镜像,正在运行的容器和近期镜像不受影响。执行前用 docker ps -a 确认没有需要保留的已停止容器,避免误删调试现场。清理后 docker system df 复核,释放约 20GB。
3. 过期安装包与临时文件
系统包缓存和临时目录是最安全的清理对象:
apt autoremove -y && apt clean
# 或 yum / dnf 环境
# yum autoremove -y && yum clean all
rm -rf /tmp/*.log /tmp/*.tmp
三类清理做完,df -h 显示根分区使用率从 92% 回落到 58%,告警解除,服务全程未重启。
三、防复发:轮转、切割、阈值三件事
清理只是治标,复发才是常态。这次复盘后,做了三项固定动作。
第一,Docker 日志轮转。在 /etc/daemon.json 中限制单个容器日志大小与文件数,重启 Docker 生效:
{
"log-driver": "json-file",
"log-opts": {
"max-size": "10m",
"max-file": "3"
}
}
单个容器日志最多保留 3 个 10MB 文件,从源头上杜绝日志无限增长。
第二,脚本日志按天切割、保留七天。业务脚本不再往同一个文件里无限追加,改用按天生成日志文件,并用定时任务清理七天前的旧文件;同时用 logrotate 接管系统与应用日志,按大小与时间双条件轮转。
第三,告警阈值提前到 80%。90% 才告警留给处理的时间太少,80% 告警、85% 升级,并增加使用率趋势监控:连续三天每天增长超过 2% 就提前预警,而不是等到分区快满才被动响应。
结语
这次复盘的经验就三句话:先用 df/du 定位再动手,清理按日志、镜像、安装包分类处理,防复发靠日志轮转、按天切割与提前告警。磁盘空间问题从来不是一次性任务,把清理变成制度,把阈值往前提,告警才不会在凌晨再次把人叫醒。
- 点赞
- 收藏
- 关注作者
评论(0)