ECS 磁盘爆满排查实录:从 df 告警到 du 定位,再到日志清理与云硬盘扩容
环境:华为云 ECS(CentOS 7.9 / Ubuntu 22.04 均适用)、系统盘 40GB。起因是某天早上收到云监控磁盘使用率超 90% 的告警,业务虽然还在跑,但再写一点日志就可能直接把服务拖垮。这篇记录一次完整的排查过程。
一、先确认是哪块盘满了:df -h
df -h 输出里重点看两列:Use% 和 Mounted on。我这次是 / 到了 96%,而 /data 只有 30%——说明问题在系统盘,不用一上来就考虑扩容数据盘。
顺手再看一眼 inode 有没有被打爆:df -i。小文件巨多的场景(比如缓存目录、session 文件)可能出现“磁盘还有空间但 inode 耗尽”,写文件照样报 No space left on device。这个坑很多人第一次遇到都会误判成磁盘满了。
二、定位大户:du 一层层往下钻
直接对根目录跑 du -sh /* 太慢,先按目录分层:du -sh /* 2>/dev/null | sort -rh | head -10;再 du -sh /var/* 2>/dev/null | sort -rh | head -10。
我当时的结果:/var 占了近 30GB,其中 /var/log 12GB、/var/lib/docker 9GB。两步就锁定了嫌疑人。
再往细里找具体文件:find /var/log -type f -size +100M -exec ls -lh {} ;
三、最常见的三个真凶
-
日志文件失控:某个 Java 服务的 catalina.out 涨到了 8GB——应用把 DEBUG 日志全打到了标准输出,又没有配日志轮转。临时处理用 > /var/log/xxx/catalina.out 清空而不是删除,正在写日志的进程不受影响。根治靠 logrotate,配一个 /etc/logrotate.d/app:按天轮转、保留 7 份、压缩旧日志、超过 500MB 强制轮转。配完用 logrotate -d 演练一次再上线。
-
journald 日志无上限:journalctl --disk-usage 一看占了 4GB。默认 journald 的上限是磁盘的 10%,系统盘小的话这个数也很可观。在 /etc/systemd/journald.conf 里设 SystemMaxUse=500M,然后 systemctl restart systemd-journald。
-
Docker 悬空镜像和无用卷:先 docker system df 看占用,再 docker system prune -a --volumes 清理(注意:会删停用的容器和未被引用的卷,生产环境先确认)。我这台机器清出了近 6GB。docker system prune 不加 -a 只清悬空镜像,相对安全,建议先从这个开始。
四、删文件前必须做的检查:lsof
磁盘满了最容易犯的错误是直接 rm 一个正在被写的大日志:文件删了,但进程还拿着句柄,空间不会释放,df 一点没变。先查 lsof | grep deleted。如果有 deleted 状态的大文件,重启对应进程才能真正释放空间。这也是为什么上面清空日志我用 > 而不是 rm。
五、清完了还是不够:云硬盘扩容
如果清完一轮使用率还在 85% 以上,说明盘是真的不够用了,该扩容就扩容,别等到 100% 再处理。华为云上的流程:(1)控制台找到这台 ECS 对应的云硬盘,在线扩容容量(系统盘也可以扩,不用关机);(2)扩完后进系统,先 lsblk 确认块设备变大了,再用 growpart 扩分区、resize2fs(ext4)或 xfs_growfs(xfs)扩文件系统;(3)最后 df -h 验证。注意顺序不能反:只在控制台扩容、不在系统里扩文件系统,空间是用不上的。
六、事后加三道防线
- 告警:云监控配两条规则——磁盘使用率超 80% 告警、超 90% 紧急告警,留出处理时间而不是等到 100% 救火。
- 轮转:所有往磁盘写日志的服务都配 logrotate 或应用层滚动策略,日志无上限等于埋雷。
- 定期巡检:每周跑一次 df -h + docker system df,写进运维清单,花两分钟,省一次半夜抢修。
小结:磁盘爆满的排查就四步:df -h 定盘、du 定位、lsof 防误删、清不掉就扩容。多数情况下真凶都是日志和 Docker 垃圾文件,扩容是最后手段而不是第一反应。把告警阈值和日志轮转提前配好,这类问题基本可以做到事前发现、不用熬夜。
- 点赞
- 收藏
- 关注作者
评论(0)