ECS 磁盘满了别急着删文件:从定位到清理的安全排查清单

举报
yd_46858814 发表于 2026/11/10 01:29:18 2026/11/10
【摘要】 磁盘满了,是云服务器上最常见、也最容易手忙脚乱的一种故障。服务写不进日志就报错,数据库写不进数据就停摆,部署传不上包,连登录后敲个命令都可能因为写不了临时文件而失败。更麻烦的是,磁盘满往往不是慢慢发生的:日志一天涨几个 G,备份文件忘删,某个进程疯狂写临时文件,早上还剩 20%,中午就只剩 0 了。遇到磁盘满,第一反应常常是赶紧删文件腾地方。但删错文件的代价,比磁盘满本身更大:删了正在写入的...

磁盘满了,是云服务器上最常见、也最容易手忙脚乱的一种故障。服务写不进日志就报错,数据库写不进数据就停摆,部署传不上包,连登录后敲个命令都可能因为写不了临时文件而失败。更麻烦的是,磁盘满往往不是慢慢发生的:日志一天涨几个 G,备份文件忘删,某个进程疯狂写临时文件,早上还剩 20%,中午就只剩 0 了。

遇到磁盘满,第一反应常常是赶紧删文件腾地方。但删错文件的代价,比磁盘满本身更大:删了正在写入的日志,进程可能直接崩掉;删了数据库的数据文件,恢复起来就不是几分钟的事;删了系统文件,服务器可能直接起不来。所以磁盘满的正确顺序是:先确认有多满,再定位是谁占的,最后按安全顺序清理,并且把“下次不再满”也一起做了。

一、先确认:到底有多满,满的是哪块盘

第一步永远是看现状,而不是凭感觉动手。先看每块盘的用量:

df -h

输出里重点看两列:Use% 和 Mounted on。Use% 到 100% 的那一行,就是出问题的盘;Mounted on 告诉你它是系统盘还是数据盘。系统盘满和数据盘满,处理方式不一样:系统盘满会影响整个系统,数据盘满通常只影响挂在上面的业务。

只看 df 还不够,有一种情况是 df 显示还有空间,但写文件依然报“没有空间”。这时要查 inode,也就是文件数量的配额:

df -i

如果某一行的 IUse% 到了 100%,说明不是文件太大,而是文件太多了——通常是某个目录下堆了几十万个小文件,比如没清理的会话文件、缓存碎片或者日志切片。删大文件解决不了这个问题,得按文件数量去清理。

还有一种容易被忽略的情况:磁盘其实没满,但某个目录被挂载点“盖住”了。比如数据盘没挂载成功,数据全写进了系统盘的挂载目录里,挂载成功后那些文件就被盖在下面,看不见也删不掉。排查时顺手看一眼挂载状态,确认数据盘确实挂在你以为的位置上。

二、再定位:空间到底被谁占了

确认是哪块盘满了之后,下一步是逐层往下找,找到占空间最大的目录。直接从根目录开始,一层一层往下钻:

du -sh /* | sort -rh | head -20

这条命令列出根目录下每个一级目录的大小,按从大到小排。找到最大的那一个,再进到它里面重复同样的办法:

du -sh /var/* | sort -rh | head -20

这样每次只看一层,几分钟就能定位到真正的大户。不要一上来就对整个磁盘做全盘扫描,那样又慢又容易被海量小文件拖住。

定位的时候,重点关注几个常客。第一个是日志目录,应用日志、Nginx 访问日志、系统日志,长期不轮转就会越长越大。第二个是临时目录和缓存目录,上传的临时文件、解压一半的包、构建缓存,经常被遗忘。第三个是备份目录,数据库备份、代码打包、快照文件,备份策略只管生成不管清理,迟早会把盘塞满。第四个是应用自己的数据目录,比如上传的图片、导出的报表、消息队列的持久化文件,业务量一涨,它们也跟着涨。

如果 du 算出来的总和,明显小于 df 显示的已用空间,差的那部分很可能被“已删除但还被进程占着”的文件吃掉了。这种文件在目录里已经看不见,但进程还拿着句柄,空间就一直不释放。查一下这类文件:

lsof | grep deleted

看到的话,办法不是去删文件——文件已经删了——而是重启占用它的那个进程,或者让进程重新打开日志文件,空间才会真正释放回来。

三、清理:按安全顺序来,别从数据文件下手

定位清楚之后,清理要按安全顺序来。先清最安全的,再清次安全的,数据文件永远排在最后,能不碰就不碰。

最安全的是已经轮转、压缩过的旧日志。比如应用日志按天切分后,三个月前的旧日志基本不会再有人查,可以先压缩归档再删除,或者只保留最近 30 天。清理之前先确认两点:日志有没有被其他程序正在写入,以及有没有正在进行的故障排查依赖这些日志。如果正在查问题,先把日志挪到别处,而不是直接删掉。

其次是临时文件和缓存。上传失败的残留文件、解压一半的临时目录、构建产生的中间产物,这些删了一般不影响业务。但要避开正在运行的进程正在用的临时文件,删之前看一眼文件的修改时间:最近几分钟还在变的文件,先别动。

再次是过期的备份。备份的清理要按保留策略来,比如只保留最近 7 天的每日备份和最近 4 周的每周备份,超出保留期的再删。没有保留策略就先定一个,边清边记下来,否则这次清完,下次还是满。正在用的最新一份备份,无论如何不要删。

最危险的几类,清理前一定要三思:数据库的数据文件和日志文件、正在运行的服务的可执行文件和配置文件、系统目录下的任何文件。数据库的二进制日志可以按策略清理,但要先确认主从同步有没有延迟、备份有没有做完;直接删数据文件,等于直接删业务。

清理完之后,立刻再跑一次 df -h 确认空间真的释放了。如果删了一堆文件,用量却一点没变,八成就是上面说的“已删除但被进程占用”的情况,需要重启相关进程才能释放。

四、容易踩的四个坑

第一个坑是 rm 删错目录。一个常见的事故是清理日志时路径写错,把应用目录整个删了。清理命令里尽量写完整路径,少用通配符,重要的目录先用 ls 确认一遍再删。实在不放心,先把文件移到一个临时目录放几天,确认没问题再真正删除,等于给自己留了一次反悔的机会。

第二个坑是只清空间、不清源头。日志之所以涨,是因为某个接口在疯狂报错;临时文件之所以堆,是因为上传失败后没有清理逻辑。只删文件不修源头,磁盘迟早还会再满。清理完顺手看一眼最大的那个日志文件里在报什么错,把根因也记下来。

第三个坑是系统盘和数据盘混用。应用日志、备份文件、上传文件都往系统盘写,系统盘本来就不大,满得特别快。正确的做法是业务数据尽量放在数据盘上,系统盘只留给系统和必要的软件。已经混用的,可以先把最大的目录挪到数据盘,再用软链接指回去,改动最小。

第四个坑是没有告警,全靠人发现。磁盘用到 90% 才发现,和用到 100% 才发现,处理压力完全不同。给磁盘用量设两档告警:用到 80% 提醒一次,用到 90% 升级处理。告警要发到有人看的地方,并且写清楚是哪台机器、哪块盘、还剩多少。没人认领的告警,和没有告警是一样的。

五、落地清单:今天就能做完的三件事

第一,给每台服务器跑一次 df -h 和 df -i,把用量超过 80% 的盘列出来,记下是哪块盘、挂在哪里、还剩多少。第二,对用量最高的盘,用 du 一层一层定位到最大的三个目录,确认它们分别是什么、能不能清、按什么策略清。第三,把清理出来的空间变成制度:日志轮转打开了吗,备份保留期定了吗,磁盘告警接了吗。这三件事做完,磁盘满就从一次手忙脚乱的救火,变成一条普通的运维记录。

磁盘满不是技术难题,是管理难题。它考验的不是你删文件删得有多快,而是你有没有一套“先定位、再清理、最后防复发”的流程。按这个顺序走,磁盘满了也不用慌;不按这个顺序,删得越快,翻车越快。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。