ECS 磁盘空间告急排查实战:从 df/du 到 lsof 找回被占用的空间

举报
yd_229207802 发表于 2026/10/26 09:40:09 2026/10/26
【摘要】 在弹性云服务器 ECS 上跑业务久了,几乎每个人都遇到过“磁盘满了”的告警:服务写不进日志、数据库拒绝写入、甚至 SSH 登录都卡住。这类问题看起来简单,删几个文件就好,但实际排查中经常出现“删了文件空间却没回来”“df 和 du 的结果对不上”“明明还有空间却提示 No space left on device”这样的情况。本文把我在 ECS(CentOS / Ubuntu / Euler...

在弹性云服务器 ECS 上跑业务久了,几乎每个人都遇到过“磁盘满了”的告警:服务写不进日志、数据库拒绝写入、甚至 SSH 登录都卡住。这类问题看起来简单,删几个文件就好,但实际排查中经常出现“删了文件空间却没回来”“df 和 du 的结果对不上”“明明还有空间却提示 No space left on device”这样的情况。本文把我在 ECS(CentOS / Ubuntu / EulerOS 通用)上处理磁盘告急的过程整理成一套固定步骤,按顺序走一遍,基本能定位到根因。

一、先确认是“空间满”还是“inode 满”

很多人第一反应是 df -h,但还应该同时看 inode:

df -h
df -i

如果 df -h 的 Use% 还有富余,而 df -i 的 IUse% 到了 100%,那就是小文件太多把 inode 用光了,常见于 session 文件、邮件队列、缓存目录。此时删大文件没用,要找文件数量最多的目录:

for d in /var /tmp /home /data; do echo "$d $(find $d -xdev -type f 2>/dev/null | wc -l)"; done

逐级缩小范围,找到后按业务规则清理,并给对应程序加上定期清理策略。

二、用 du 找出真正的大户

确认是空间问题后,从根分区开始逐层统计,注意加 -x 避免跨到其他挂载点(比如挂载的数据盘或 /proc):

du -xh --max-depth=1 / 2>/dev/null | sort -rh | head -15
du -xh --max-depth=1 /var 2>/dev/null | sort -rh | head -15

按经验,最常见的大户是这几类:/var/log 下没有轮转的应用日志、/var/lib/docker 下的镜像和容器日志、/var/cache 下的包管理器缓存,以及开发调试时随手放在 /root 下的 dump 文件。也可以直接按文件大小找:

find / -xdev -type f -size +500M -exec ls -lh {} \; 2>/dev/null

三、df 和 du 对不上:找“已删除但未释放”的文件

这是最容易踩的坑。比如某个 Java 服务正在写 app.log,有人直接 rm 掉了它,文件名没了,但进程还持有文件句柄,空间不会释放。此时 du 统计不到,df 却显示仍然是满的。用 lsof 定位:

lsof -nP +L1 2>/dev/null | grep deleted
# 没有 lsof 时可以直接扫 /proc
find /proc/*/fd -ls 2>/dev/null | grep '(deleted)'

输出里能看到进程 PID 和文件大小。处理方式有两种:能重启的服务直接重启释放句柄;不能重启的,可以把对应 fd 截断为 0:

: > /proc/<PID>/fd/<FD号>

以后清理正在被写入的日志,请用 truncate -s 0 app.log 或 : > app.log,而不是 rm。

四、Docker 环境的专项清理

在 ECS 上用 Docker 部署时,容器的 json-file 日志默认不限大小,是磁盘被吃满的高发原因。先看占用分布:

docker system df
ls -lhS /var/lib/docker/containers/*/*-json.log | head

清理悬空镜像和已停止容器(确认没有需要保留的再执行):

docker image prune -f
docker container prune -f

根治方法是在 /etc/docker/daemon.json 中限制日志大小,然后重启 docker:

{
  "log-driver": "json-file",
  "log-opts": { "max-size": "100m", "max-file": "3" }
}

注意这个配置只对新创建的容器生效,老容器需要重建。

五、日志轮转和 journal 限额

系统层面还要检查 systemd journal,它在不少镜像里默认可以占用到磁盘的 10%:

journalctl --disk-usage
journalctl --vacuum-size=500M

并在 /etc/systemd/journald.conf 中设置 SystemMaxUse=500M 长期生效。应用日志则用 logrotate 管理,例如:

/data/app/logs/*.log {
    daily
    rotate 7
    compress
    missingok
    copytruncate
}

copytruncate 适合不支持重新打开日志文件的程序,可以避免第三节提到的句柄问题。

六、空间确实不够:扩容而不是硬删

如果业务数据本身就在增长,清理只能解决一时。云硬盘 EVS 支持在线扩容,控制台扩容后在系统内还需要扩分区和文件系统:

growpart /dev/vda 1
resize2fs /dev/vda1      # ext4
xfs_growfs /             # xfs

操作前建议先给云硬盘创建快照。更合理的做法是把数据目录、日志目录放到单独挂载的数据盘上,系统盘只放操作系统,避免业务数据把系统盘写满导致整机不可用。

七、加上监控,别等告警才处理

最后,在云监控服务 CES 中为 ECS 安装 Agent 后,可以对“磁盘使用率”和“inode 使用率”分别配置告警规则,比如 80% 提醒、90% 紧急。我自己的习惯是再加一个每天执行的小脚本,把各挂载点使用率和前五大目录写进巡检日志,出问题时能快速看出是哪天开始增长的。

总结一下排查顺序:df -h 与 df -i 区分类型 → du 逐层定位大户 → lsof 查已删除未释放的文件 → Docker 和 journal 专项清理 → 日志轮转长期治理 → 必要时在线扩容并配置监控。按这个顺序走,绝大多数磁盘告急都能在十几分钟内处理掉。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。