磁盘还剩 40%,却写不进文件?多半是 inode 满了
现象
一台服务器磁盘告警,登录上去看:
df -h
# /dev/vdb1 100G 58G 40G 60% /data
空间明明还剩 40%,但写文件却报:
No space left on device
这时候的直觉是"df 是不是不准",于是查 du -sh /data,加起来也只有 55G 左右,和 df 差不远。空间确实有,但就是写不进去。
真正的原因大概率不是空间,而是 inode 用完了。
为什么 inode 会先满
Linux 文件系统在格式化时就把 inode 总量定死了,一个 inode 对应一个文件(或目录、符号链接)。每个 inode 记录文件元信息:权限、属主、时间戳、数据块位置。
关键点:inode 记录文件,但不记录文件多大。所以:
- 一个 10G 的大文件,占 1 个 inode;
- 一万个 1KB 的小文件,占一万个 inode。
如果业务场景是"大量小文件"——日志切分产生的碎文件、缓存目录、消息队列的堆积、上传图片按日期分目录、容器层文件——很容易出现空间用了 60%,inode 却已经 100% 的情况。
第一步:确认是不是 inode 问题
df -i
输出重点是 IUsed%:
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vdb1 6553600 6553600 0 100% /data
IUse% 100%、IFree 0,问题就确定了:不是空间,是 inode 耗尽。
这一步只需一条命令,但很多人卡住就是因为只查了 df -h,没查 df -i。
第二步:找出哪个目录在疯狂堆小文件
find /data -xdev -type f | sed 's|/[^/]*$||' | sort | uniq -c | sort -rn | head -20
这条命令按目录统计文件数量,输出前 20 个文件最多的目录。-xdev 很关键,它保证不跨挂载点——否则扫到别的分区,数字会失真,也慢。
找到嫌疑目录后,用 du 的 --inodes 参数复核:
du -s --inodes /data/* 2>/dev/null | sort -rn | head
对于上百万文件的目录,find 会跑很久。这时可以先看目录本身的大小增长趋势,或直接 ls | wc -l 分段确认。
第三步:分清"可删"与"不能乱删"
inode 里的文件删掉才会释放 inode。但有两种情况会让删除不生效:
1. 文件被进程占用
rm 之后 df -i 没变化,说明文件句柄还被进程打开。用:
lsof +L1
列出所有 link count = 0 但仍被打开的文件。这类文件在进程关闭句柄后才真正释放。处理方式是重启对应进程,或对其句柄做截断:
: > /proc/<pid>/fd/<fd>
注意这个操作有风险,要确认文件确实是日志类可截断的内容。
2. 隐藏目录里的小文件
很多堆积藏在不容易注意的地方:
- /data/*/tmp、.cache、.git/objects
- 应用自己写的 .log.1 .log.2 轮转文件
- 上传目录的缩略图缓存
第四步:治标之后再治本
清掉一批小文件后 inode 会立刻回落,但如果不改产生逻辑,几天后又会满。三个常见做法:
1. 给日志加轮转上限
logrotate 配置里明确 rotate 次数和 maxage,别让历史文件无限累积:
/data/logs/*.log {
daily
rotate 7
maxage 7
compress
missingok
notifempty
}
2. 缓存设置过期清理
缓存目录必须有 TTL 和定时清理任务,比如每天凌晨清掉 7 天前的缩略图。这一点在图片、附件类业务里最容易漏。
3. 评估是否该换文件系统参数
如果业务天生就是海量小文件(比如对象存储网关、邮件队列),ext4 的 inode 数量可以在格式化时用 -N 或 -i 调整,或者改用 XFS(动态分配 inode)。但这属于重新规划,不能在线改,要提前评估。
一个容易踩的坑
有人看到 inode 满了,第一反应是"扩磁盘"。但如果只是扩容分区,inode 数量不一定跟着涨——ext4 的 inode 在创建文件系统时确定,扩分区通常只加数据块。XFS 会按比例增加,但也不是无上限。
所以顺序应该是:先 df -i 确认,再定位目录,先清理再考虑架构调整。扩容放在最后。
小结
记住三条命令就够了:
df -i # 是不是 inode 满
find /data -xdev -type f | sed 's|/[^/]*$||' | sort | uniq -c | sort -rn | head # 谁在堆文件
lsof +L1 # 删了没释放的占用文件
"空间还剩很多却写不进去",八成不是磁盘坏了,而是 inode 这个小账本先记满了。
- 点赞
- 收藏
- 关注作者
评论(0)