ECS 磁盘空间告急排查实战:从 df/du 到 lsof 找回被占用的空间
在弹性云服务器 ECS 上跑业务久了,几乎每个人都遇到过“磁盘满了”的告警:服务写不进日志、数据库拒绝写入、甚至 SSH 登录都卡住。这类问题看起来简单,删几个文件就好,但实际排查中经常出现“删了文件空间却没回来”“df 和 du 的结果对不上”“明明还有空间却提示 No space left on device”这样的情况。本文把我在 ECS(CentOS / Ubuntu / EulerOS 通用)上处理磁盘告急的过程整理成一套固定步骤,按顺序走一遍,基本能定位到根因。
一、先确认是“空间满”还是“inode 满”
很多人第一反应是 df -h,但还应该同时看 inode:
df -h
df -i
如果 df -h 的 Use% 还有富余,而 df -i 的 IUse% 到了 100%,那就是小文件太多把 inode 用光了,常见于 session 文件、邮件队列、缓存目录。此时删大文件没用,要找文件数量最多的目录:
for d in /var /tmp /home /data; do echo "$d $(find $d -xdev -type f 2>/dev/null | wc -l)"; done
逐级缩小范围,找到后按业务规则清理,并给对应程序加上定期清理策略。
二、用 du 找出真正的大户
确认是空间问题后,从根分区开始逐层统计,注意加 -x 避免跨到其他挂载点(比如挂载的数据盘或 /proc):
du -xh --max-depth=1 / 2>/dev/null | sort -rh | head -15
du -xh --max-depth=1 /var 2>/dev/null | sort -rh | head -15
按经验,最常见的大户是这几类:/var/log 下没有轮转的应用日志、/var/lib/docker 下的镜像和容器日志、/var/cache 下的包管理器缓存,以及开发调试时随手放在 /root 下的 dump 文件。也可以直接按文件大小找:
find / -xdev -type f -size +500M -exec ls -lh {} \; 2>/dev/null
三、df 和 du 对不上:找“已删除但未释放”的文件
这是最容易踩的坑。比如某个 Java 服务正在写 app.log,有人直接 rm 掉了它,文件名没了,但进程还持有文件句柄,空间不会释放。此时 du 统计不到,df 却显示仍然是满的。用 lsof 定位:
lsof -nP +L1 2>/dev/null | grep deleted
# 没有 lsof 时可以直接扫 /proc
find /proc/*/fd -ls 2>/dev/null | grep '(deleted)'
输出里能看到进程 PID 和文件大小。处理方式有两种:能重启的服务直接重启释放句柄;不能重启的,可以把对应 fd 截断为 0:
: > /proc/<PID>/fd/<FD号>
以后清理正在被写入的日志,请用 truncate -s 0 app.log 或 : > app.log,而不是 rm。
四、Docker 环境的专项清理
在 ECS 上用 Docker 部署时,容器的 json-file 日志默认不限大小,是磁盘被吃满的高发原因。先看占用分布:
docker system df
ls -lhS /var/lib/docker/containers/*/*-json.log | head
清理悬空镜像和已停止容器(确认没有需要保留的再执行):
docker image prune -f
docker container prune -f
根治方法是在 /etc/docker/daemon.json 中限制日志大小,然后重启 docker:
{
"log-driver": "json-file",
"log-opts": { "max-size": "100m", "max-file": "3" }
}
注意这个配置只对新创建的容器生效,老容器需要重建。
五、日志轮转和 journal 限额
系统层面还要检查 systemd journal,它在不少镜像里默认可以占用到磁盘的 10%:
journalctl --disk-usage
journalctl --vacuum-size=500M
并在 /etc/systemd/journald.conf 中设置 SystemMaxUse=500M 长期生效。应用日志则用 logrotate 管理,例如:
/data/app/logs/*.log {
daily
rotate 7
compress
missingok
copytruncate
}
copytruncate 适合不支持重新打开日志文件的程序,可以避免第三节提到的句柄问题。
六、空间确实不够:扩容而不是硬删
如果业务数据本身就在增长,清理只能解决一时。云硬盘 EVS 支持在线扩容,控制台扩容后在系统内还需要扩分区和文件系统:
growpart /dev/vda 1
resize2fs /dev/vda1 # ext4
xfs_growfs / # xfs
操作前建议先给云硬盘创建快照。更合理的做法是把数据目录、日志目录放到单独挂载的数据盘上,系统盘只放操作系统,避免业务数据把系统盘写满导致整机不可用。
七、加上监控,别等告警才处理
最后,在云监控服务 CES 中为 ECS 安装 Agent 后,可以对“磁盘使用率”和“inode 使用率”分别配置告警规则,比如 80% 提醒、90% 紧急。我自己的习惯是再加一个每天执行的小脚本,把各挂载点使用率和前五大目录写进巡检日志,出问题时能快速看出是哪天开始增长的。
总结一下排查顺序:df -h 与 df -i 区分类型 → du 逐层定位大户 → lsof 查已删除未释放的文件 → Docker 和 journal 专项清理 → 日志轮转长期治理 → 必要时在线扩容并配置监控。按这个顺序走,绝大多数磁盘告急都能在十几分钟内处理掉。
- 点赞
- 收藏
- 关注作者
评论(0)