Linux 磁盘空间告急排查:du/ncdu、已删除未释放文件与 inode 耗尽
「No space left on device」几乎是每个运维人员都见过的报错。磁盘一旦写满,数据库无法写入、日志丢失、甚至 SSH 登录都会受影响。很多时候问题并不复杂,但排查思路混乱会浪费大量时间,还可能误删关键文件。本文按照从全局到局部的顺序,梳理一套可复用的磁盘空间排查流程。
一、先确认是哪一种「满」
第一步执行 df -h,查看各挂载点的容量使用率,确认到底是根分区、数据盘还是某个 overlay 挂载被写满。紧接着执行 df -i,查看 inode 使用率。磁盘空间有两种耗尽方式:一种是数据块用完,另一种是 inode 用完。后者常见于产生海量小文件的场景,此时 df -h 可能显示还有大量空闲,但仍然无法创建新文件。
如果 df 显示的已用空间明显大于你用 du 统计出来的总和,就要怀疑存在已删除但仍被进程占用的文件,或者某个目录在挂载数据盘之前已经写入了数据、后来被挂载点遮盖。这两种情况都需要特别的手段才能发现。
二、用 du 与 ncdu 定位大目录
最基础的方法是 du -xh --max-depth=1 / 2>/dev/null | sort -h,其中 -x 表示不跨越文件系统,避免把 /proc 或其他挂载盘统计进来。逐层向下钻取,通常很快就能定位到 /var/log、/var/lib/docker、应用的上传目录或临时目录。对于大文件,可以使用 find / -xdev -type f -size +500M 直接列出。
交互式工具 ncdu 体验更好,执行 ncdu -x / 后会扫描并按大小排序展示,可以用方向键进入子目录,按 d 删除文件。它特别适合在不熟悉的服务器上快速摸清空间分布。需要注意,在生产环境删除文件前应确认其用途,对日志类文件更推荐清空而不是删除,例如使用 truncate -s 0 文件名。
三、已删除未释放的文件
Linux 中删除文件只是移除目录项,只要还有进程持有该文件的句柄,数据块就不会被释放。典型场景是直接 rm 了一个正在被写入的大日志文件,空间却没有回收。使用 lsof +L1 或 lsof | grep deleted 可以列出这类文件及其所属进程。
处理方式有两种:一是重启或让对应进程重新打开日志,例如向 Nginx 发送 USR1 信号、执行 systemctl reload;二是在不方便重启时,通过 /proc/进程号/fd/ 下对应的文件描述符将其截断,例如对该描述符执行 truncate -s 0。后者能立即释放空间,但要确认不会影响业务的写入逻辑。
四、inode 耗尽与预防措施
当 df -i 显示某分区 inode 使用率接近百分之百时,需要找出文件数量最多的目录。可以用 find 目录 -xdev -type f | cut -d/ -f2-3 | sort | uniq -c | sort -n 粗略统计,或使用 du --inodes -x --max-depth=1。常见元凶包括 PHP session 目录、邮件队列、缓存目录以及未清理的小文件临时产物。清理后应从源头修复,比如为缓存设置过期策略。
预防比事后救火更重要:为应用日志配置 logrotate,设置按大小或按天轮转并压缩;在 journald.conf 中设置 SystemMaxUse= 限制系统日志总量;使用容器的主机定期执行 docker system prune 清理悬空镜像和停止的容器;对数据目录单独挂载数据盘,避免业务数据写满根分区。同时在监控中为磁盘空间和 inode 分别设置告警阈值。
五、总结
磁盘告急排查的关键是先分清空间耗尽还是 inode 耗尽,再用 du 或 ncdu 逐层定位,并警惕已删除未释放的文件和被挂载点遮盖的数据。在此基础上建立日志轮转、容量告警和定期清理机制,就能把磁盘问题从突发故障变成可预期、可管理的日常维护。
- 点赞
- 收藏
- 关注作者
评论(0)