一次 ECS 磁盘空间告警的排查与清理复盘

举报
云上复盘笔记 发表于 2026/11/06 11:50:06 2026/11/06
【摘要】 凌晨,手机上弹出一条 ECS 磁盘空间告警:根分区使用率超过 90%。这台 ECS 跑着业务服务和几个 Docker 容器,磁盘一旦写满,服务写日志失败、容器无法启动,后果比告警本身严重得多。本文复盘这次从告警到恢复、再到防复发的完整过程。 一、先定位:df 与 du 逐层收窄收到告警后第一件事不是删文件,而是确认“满在哪里、被谁占了”。先看整体:df -hdf -h 显示根分区 / 使用率...

凌晨,手机上弹出一条 ECS 磁盘空间告警:根分区使用率超过 90%。这台 ECS 跑着业务服务和几个 Docker 容器,磁盘一旦写满,服务写日志失败、容器无法启动,后果比告警本身严重得多。本文复盘这次从告警到恢复、再到防复发的完整过程。

一、先定位:df 与 du 逐层收窄

收到告警后第一件事不是删文件,而是确认“满在哪里、被谁占了”。先看整体:

df -h

df -h 显示根分区 / 使用率 92%,确认告警属实。接着用 du 从根目录逐层往下找:

du -sh /* | sort -rh | head -n 10
du -sh /var/* | sort -rh | head -n 10
du -sh /var/lib/docker/* | sort -rh | head -n 10

逐层定位的结果很典型,占用集中在三处:/var/log/journal 的 systemd 日志超过 20GB;Docker 的 overlay2 与镜像层长期累积,占用超过 30GB;/tmp 与软件包缓存里还躺着一批几个月前的过期安装包。定位清楚再动手,删除才不会误伤业务数据。动手前先做两件事:确认没有正在写入的大文件被误删的风险,对关键业务日志做一次快照备份。

二、分类处理:日志、镜像、安装包分开清理

1. 系统日志:journalctl 按容量压缩

systemd 日志默认不设上限,越攒越多。用容量而不是时间做清理,效果最可控:

journalctl --disk-usage
journalctl --vacuum-size=500M

一条命令把 journal 压到 500MB 以内,释放了近 20GB。之后再查 journalctl --disk-usage,确认已回到合理范围。

2. Docker:只清一个月未用的镜像

Docker 占用要分清镜像、容器、构建缓存,不能一刀切。先看占用分布,再清理一个月未使用的镜像和悬空资源:

docker system df
docker system prune -a --filter "until=720h"

until=720h 即 30 天,只清理一个月未被使用的镜像,正在运行的容器和近期镜像不受影响。执行前用 docker ps -a 确认没有需要保留的已停止容器,避免误删调试现场。清理后 docker system df 复核,释放约 20GB。

3. 过期安装包与临时文件

系统包缓存和临时目录是最安全的清理对象:

apt autoremove -y && apt clean
# 或 yum / dnf 环境
# yum autoremove -y && yum clean all
rm -rf /tmp/*.log /tmp/*.tmp

三类清理做完,df -h 显示根分区使用率从 92% 回落到 58%,告警解除,服务全程未重启。

三、防复发:轮转、切割、阈值三件事

清理只是治标,复发才是常态。这次复盘后,做了三项固定动作。

第一,Docker 日志轮转。在 /etc/daemon.json 中限制单个容器日志大小与文件数,重启 Docker 生效:

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

单个容器日志最多保留 3 个 10MB 文件,从源头上杜绝日志无限增长。

第二,脚本日志按天切割、保留七天。业务脚本不再往同一个文件里无限追加,改用按天生成日志文件,并用定时任务清理七天前的旧文件;同时用 logrotate 接管系统与应用日志,按大小与时间双条件轮转。

第三,告警阈值提前到 80%。90% 才告警留给处理的时间太少,80% 告警、85% 升级,并增加使用率趋势监控:连续三天每天增长超过 2% 就提前预警,而不是等到分区快满才被动响应。

结语

这次复盘的经验就三句话:先用 df/du 定位再动手,清理按日志、镜像、安装包分类处理,防复发靠日志轮转、按天切割与提前告警。磁盘空间问题从来不是一次性任务,把清理变成制度,把阈值往前提,告警才不会在凌晨再次把人叫醒。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。