云服务器磁盘告警排查:df 和 du 对不上时,空间去哪了
云服务器跑久了,最常见的告警之一就是根分区使用率过高。很多人第一反应是 du -sh /* 找大目录,但经常遇到一个怪现象:df 显示用了 95%,du 加起来却只有一半。下面是我在 Linux 云服务器上排查这类问题的固定步骤。
1. 先确认是空间满还是 inode 满
df -hT # 看各分区容量和文件系统类型
df -i # 看 inode 使用率
如果 df -i 显示 IUse% 接近 100%,问题不是大文件,而是海量小文件(常见于 session 目录、邮件队列、缓存目录)。可以用下面的命令找文件数最多的目录:
find / -xdev -type f | cut -d/ -f2-3 | sort | uniq -c | sort -rn | head
2. 用 du 定位大目录,记得加 -x
du -xh --max-depth=1 / 2>/dev/null | sort -rh | head -15
-x 只统计当前文件系统,避免把 /proc、挂载的数据盘、NFS 算进来,结果才和 df 的根分区对得上。常见大户:/var/log、/var/lib/docker、/var/cache/apt、用户家目录下的备份包。
3. df 和 du 对不上:找"已删除但仍被占用"的文件
进程打开的文件被 rm 后,目录项消失,du 统计不到,但只要进程还持有文件句柄,磁盘块就不会释放,df 照样算已用。典型场景是手工删掉了正在写的日志。
lsof -nP +L1 2>/dev/null | awk 'NR==1 || $7 > 100*1024*1024'
# 或者没有 lsof 时:
find /proc/*/fd -ls 2>/dev/null | grep '(deleted)'
处理方式有两种:
- 能重启服务:
systemctl restart <服务>,句柄关闭后空间立即释放。 - 不能重启:直接截断句柄指向的文件
: > /proc/<PID>/fd/<FD>,空间马上回来,进程不受影响。
教训:清理正在写入的日志用 truncate -s 0 文件 或 : > 文件,不要直接 rm。
4. 别忘了这几个隐蔽占用
-
systemd journal:
journalctl --disk-usage查看,journalctl --vacuum-size=200M收缩,并在/etc/systemd/journald.conf设置SystemMaxUse=长期限制。 -
Docker:
docker system df查看镜像、容器、构建缓存占用,docker image prune清理悬空镜像;容器日志可在 daemon.json 里配置log-opts的max-size。 -
包管理缓存:Debian/Ubuntu 用
apt-get clean,CentOS/EulerOS 用dnf clean all。 -
挂载点下的"影子文件":如果数据盘挂载到 /data 之前,/data 目录里已经写过文件,这些文件会被挂载遮住但仍占根分区。可以用
mount --bind / /mnt/rootonly后再du -sh /mnt/rootonly/data检查。 -
保留块:ext4 默认给 root 保留 5% 空间,大容量数据盘可用
tune2fs -m 1 /dev/vdb1适当调低(系统盘不建议动)。
5. 治本:让日志自己轮转
清完一次空间不是结束,要防止复发:
cat /etc/logrotate.d/<你的应用>
# 示例配置
/var/log/myapp/*.log {
daily
rotate 7
compress
missingok
notifempty
copytruncate
}
logrotate -d /etc/logrotate.d/myapp # 先 dry-run 验证
copytruncate 适合不支持重新打开日志文件的程序,避免出现第 3 步那种"删了不释放"的情况。
6. 加一条简单的监控
云监控一般都能配磁盘使用率告警。没有的话,一条 cron 也够用:
*/10 * * * * df -P / | awk 'NR==2 && $5+0 > 85 {print "root usage " $5}' | logger -t diskwatch
小结
排查顺序:df -h / df -i 确认类型 → du -x 找大目录 → lsof +L1 找已删除未释放文件 → 检查 journal、Docker、缓存、挂载遮盖 → 配好 logrotate 和告警。按这个顺序走,绝大多数"磁盘突然满了"的问题十几分钟内就能定位。
- 点赞
- 收藏
- 关注作者
评论(0)