一次 ECS 磁盘空间告警的排查与清理复盘
最近一台测试用的 ECS 收到磁盘使用率告警,利用率已经到了 92%。这类问题看着吓人,排查思路其实很固定,这次按“先定位、再分类、后清理”的顺序处理,整个过程大约二十分钟,记录下来供以后复用。
第一步是确认空间究竟被谁占了。先用 df -h 看各挂载点的整体使用情况,确认是系统盘告警;再用 du -h --max-depth=1 / | sort -hr 从根目录逐层往下钻。结果发现占用主要集中在三个地方:/var/log 下的历史日志、/var/lib/docker 下停止已久的容器镜像,以及 /opt 下几个月前留下的安装包和解压目录。
第二步是分类处理,不同的东西处理方式不一样。日志类不要直接 rm,先用 journalctl --disk-usage 看 systemd 日志占用,再用 journalctl --vacuum-size=200M 压缩到合理大小;应用自己的日志则先确认已切割归档,再清掉过期部分。Docker 先用 docker system df 看清占用构成,再执行 docker system prune -a --filter "until=720h",只清一个月没用过的镜像和停止的容器,正在运行的服务不受影响。安装包和解压目录属于一次性文件,确认业务代码不引用它们之后直接删除。
第三步是防复发。清理完利用率降到 54%,但治标不治本。这次顺手做了三件事:一是给 Docker 配置日志轮转,在 daemon.json 里限制单个容器日志大小和份数;二是给几个高频写日志的脚本加了按天切割、保留七天的规则;三是把告警阈值从 90% 提前到 80%,留出处理时间,并把这次的排查命令整理成一个小脚本,下次告警直接跑一遍先出定位结果。
复盘下来,这类告警九成不是磁盘太小,而是日志、镜像和临时文件没有生命周期管理。与其事后救火,不如在部署时就约定好:日志必轮转、镜像定期清、临时文件用完即删。命令层面的清理只是十分钟的事,建立习惯才是长期收益。
- 点赞
- 收藏
- 关注作者
评论(0)