ECS 云服务器磁盘空间爆满:从应急止血、定位清理到扩容与预防的完整处理
ECS 云服务器磁盘空间爆满:从应急止血、定位清理到扩容与预防的完整处理
一、问题背景:一次凌晨的磁盘 100% 告警
凌晨两点,监控系统发出告警:一台运行 Web 服务的 ECS 云服务器磁盘使用率达到 100%,紧接着业务侧开始报错——用户上传图片失败、应用日志里出现 No space left on device、数据库写入被拒绝,部分接口返回 500。登录服务器执行 df -h,根分区 / 的使用率赫然显示 100%,可用空间为 0。
磁盘写满是云服务器上最常见、也最容易被忽视的故障之一。它不像 CPU 打满那样只是变慢,而是会直接让一切需要落盘的操作失败:应用写不了日志、数据库写不了数据、会话文件建不出来、系统连临时文件都创建不了,严重时 SSH 登录后连命令历史都无法保存。更麻烦的是,磁盘满了之后,很多常规的排查手段本身也会受影响,比如想把诊断结果重定向到文件里都做不到。
本文以这台 Web 服务器的真实处理过程为主线,讲清楚一套完整的做法:先应急止血恢复业务,再定位空间到底被谁吃掉,然后分场景清理,最后在必要时扩容,并把预防措施做到位。整套流程不需要停机重装,也不需要高深的工具,只用到 Linux 自带的命令和云硬盘扩容能力。
二、动手前的前提条件
磁盘空间爆满时,慌乱中误删文件造成的损失往往比故障本身更大。动手之前,先确认以下几点:
1. 确认你有足够的权限。 磁盘清理和扩容操作大多需要 root 权限。如果使用的是普通账号,先确认能否通过 sudo 提权,提权失败就不要绕路尝试其他方式,先找有权限的同事或管理员。
2. 先做快照或备份,再动数据。 如果这台服务器承载了重要业务,在删除任何文件之前,优先给系统盘或数据盘打一个云硬盘快照。快照是出问题时最后的兜底手段,创建一个快照的成本远低于误删数据库文件后恢复数据的成本。如果时间实在紧迫、业务已经中断,至少先把最关键的配置文件和数据库备份到另一台机器或对象存储上,再开始清理。
3. 先判断业务影响范围。 执行 df -h 看清是哪个分区满了:是根分区 / 满了,还是数据盘挂载点(比如 /data)满了。根分区满会影响整个系统,数据盘满则只影响挂载在该盘上的业务。同时看一眼服务状态,确认哪些服务已经写失败、哪些还在勉强运行,做到心里有数。
4. 准备好另一台机器或本地终端作为操作台。 磁盘满了之后,本机上很多写入操作会失败,比如 vim 保存文件、history 记录都可能异常。把命令和输出记在本地电脑上,不要依赖服务器本机的文件记录。
5. 明确一条红线:不确定的文件不删。 磁盘清理的第一原则是“先定位、再清理”,任何不能 100% 确定用途的文件,都不要直接删除。宁可多花十分钟确认,也不要一分钟删错一个数据库文件。
三、第一步:应急止血,让业务先恢复写入
磁盘 100% 的时候,首要目标不是找到全部原因,而是尽快腾出一点空间,让业务恢复写入能力。哪怕只腾出几百 MB,也能让服务先喘口气,争取到从容排查的时间。
1. 先看清现状
登录服务器后,先执行下面两条命令:
df -h
df -i
df -h 显示每个挂载点的磁盘空间使用情况,重点看 Use% 和 Avail 两列,确认是哪个分区满了。df -i 显示 inode 使用情况——这是一个容易被忽略的点:磁盘空间可能还剩不少,但 inode(用来记录文件元数据的编号)耗尽了,同样会报 No space left on device。如果 IUse% 接近 100%,问题就不是大文件,而是海量小文件,比如某个目录下堆积了几十万个会话文件或缓存碎片,处理思路完全不同。
2. 快速腾出应急空间
如果确认是空间耗尽,可以先清理最安全的几类文件:
# 清理系统临时目录中超过 7 天未访问的文件
find /tmp -type f -atime +7 -delete
# 清理当前用户的缓存(按需执行)
rm -rf ~/.cache/*
/tmp 下的文件原则上是临时文件,系统重启后也会被清理,删除超过 7 天未访问的临时文件风险很低。但要注意两点:不要直接 rm -rf /tmp/*,因为某些正在运行的程序可能正在使用 /tmp 下的文件;如果业务程序把重要数据写在 /tmp(这是不规范的做法,但现实中确实存在),删除前一定要先确认。
如果服务器上安装了包管理器的缓存,也可以清理:
# CentOS / Rocky Linux
yum clean all
# Ubuntu / Debian
apt-get clean
这些缓存只是安装包的副本,清理后不影响已安装的软件,下次安装时重新下载即可。
3. 暂停非关键写入,保护核心业务
如果腾出的空间很快又被吃掉,说明有某个进程在持续写入。这时可以临时降低非关键服务的写入:比如暂停定时备份任务、暂停日志采集客户端、把调试级别的日志暂时调低。目的是把有限的空间留给核心业务写入,而不是让日志和备份继续抢占。注意这只是临时措施,事后要记得恢复。
应急止血的目标很明确:让 df -h 的可用空间从 0 变成一个正数,让核心业务恢复写入。做到这一步,就可以进入定位环节,不用再争分夺秒。
四、第二步:定位空间去向,从大到小逐层下钻
应急空间腾出来后,接下来要回答一个关键问题:空间到底被谁吃掉了?定位的基本方法是“从大到小、逐层下钻”,先看哪个顶级目录最大,再钻进这个目录继续看。
1. 看顶级目录的占用
du -sh /* --exclude=/proc 2>/dev/null | sort -rh | head
这条命令统计根目录下每个一级目录的总大小,按从大到小排序后显示前 10 个。--exclude=/proc 是为了排除 /proc 这个虚拟文件系统,它反映的是内存和进程信息,不是真实磁盘占用,统计它没有意义。2>/dev/null 用于丢弃权限不足目录的报错信息,让输出干净一些。
输出可能类似这样:
/data 68G
/var 42G
/usr 9.2G
/opt 3.1G
一眼就能看出 /data 和 /var 是大头,接下来就钻进这两个目录继续看。
2. 钻进可疑目录继续下钻
du -sh /var/* 2>/dev/null | sort -rh | head
du -sh /data/* 2>/dev/null | sort -rh | head
重复这个过程两到三层,通常就能定位到具体目录,比如 /var/log 占了 30G,或者 /data/backup 占了 50G。
3. 直接找出最大的单个文件
如果怀疑是某个超大文件导致的,可以直接搜索:
# 找出根分区下大于 1G 的文件
find / -type f -size +1G 2>/dev/null
# 只看 /var 和 /data 下大于 500M 的文件,按大小排序
find /var /data -type f -size +500M -exec du -h {} + 2>/dev/null | sort -rh | head -20
find / -type f -size +1G 会列出所有大于 1GB 的文件,一眼就能看到是不是某个日志文件、数据库文件或备份包失控了。需要注意的是,在根分区上全盘扫描会比较耗时,磁盘满的时候更慢,可以先限定在可疑目录下搜索。
定位阶段的产出应该是一句明确的话,比如“/var/log 下的 Nginx 访问日志占了 28G”或者“/data/backup 里堆积了 40 个历史备份包”。有了这句话,清理就有了明确目标,不会再盲目删除。
五、第三步:分场景清理,对症下药
不同原因导致的磁盘爆满,清理方法完全不同。下面覆盖 Web 服务器上最常见的四种场景。
场景一:日志暴涨——最常见的原因
Web 服务的访问日志、应用日志如果没有做轮转,会无限增长。一台日活中等的 Web 服务器,一天产生几个 GB 的访问日志很正常,几个月不清理就是几十 GB。
先看日志目录的占用:
du -sh /var/log/* 2>/dev/null | sort -rh | head
如果确认是某个日志文件过大,处理方式取决于日志是否还在被进程写入:
# 查看 systemd 管理的服务日志总占用
journalctl --disk-usage
# 只保留最近 7 天的 journal 日志,或把总量限制在 1G 以内(二选一即可)
journalctl --vacuum-time=7d
journalctl --vacuum-size=1G
journalctl --vacuum-size=1G 会把 systemd 的 journal 日志总量压缩到 1G 以内,删除最旧的部分。这是最安全的日志清理方式之一,因为 journal 日志由 systemd 管理,清理后服务不受影响。
对于普通文本日志文件,如果它正在被 Nginx、应用进程写入,不要直接用 rm 删除,后面“常见坑”一节会详细讲原因。正确的做法是截断:
# 截断正在被写入的日志文件,释放空间但不断开进程的写入
: > /var/log/nginx/access.log
# 或者用 truncate 命令,效果相同
truncate -s 0 /var/log/nginx/access.log
截断后文件大小立即变为 0,进程继续往同一个文件里写,不需要重启服务。如果日志文件已经不再被任何进程写入(比如轮转后的旧日志 access.log.1、error.log-20261101.gz),直接删除即可:
rm -f /var/log/nginx/access.log.*.gz
治本的做法是配置日志轮转。Linux 系统自带的 logrotate 就是为此而生的,检查 /etc/logrotate.d/ 目录下有没有对应服务的配置文件,没有的话补一个。以 Nginx 为例,一个基本的轮转配置应该做到:每天轮转一次、保留 14 天、压缩旧日志、轮转后通知 Nginx 重新打开日志文件。配好之后,日志就不会再无限增长。
场景二:备份文件堆积——最容易被遗忘的角落
六、第四步:云硬盘扩容——清理不够时再扩
如果定位后发现空间占用都是合理的——比如业务数据本身就在持续增长、数据库文件就是需要这么大,清理只能腾出很少空间——那就不要再反复清理了,该扩容就扩容。清理解决的是“浪费”,扩容解决的是“容量不足”,两者解决的问题不同。
1. 先在云平台侧扩容云硬盘
在华为云控制台上找到这台 ECS 挂载的云硬盘,执行扩容操作,把容量从当前大小调大到目标大小(比如从 100GB 扩到 200GB)。扩容云硬盘本身不需要停机,但操作前仍建议先给云硬盘打一个快照,以防万一。扩容完成后,云平台侧的容量变大了,但操作系统里的分区和文件系统还不知道,需要在系统内继续操作。
2. 确认文件系统类型
在系统内操作之前,先确认文件系统类型,因为不同文件系统的扩容命令不同:
df -hT
df -hT 会在 df -h 的基础上多显示一列文件系统类型,常见的有 ext4 和 xfs。记住这个结果,下面两步的命令取决于它。
3. 扩展分区,再扩展文件系统
如果扩容的是系统盘或数据盘的分区,需要先让分区识别到新增的容量。常用的方式是使用 growpart 扩展分区(需要先安装 cloud-utils-growpart 工具包,不同发行版的包名可能略有差异):
七、验证方法:确认业务真正恢复了
清理和扩容做完之后,不要只看 df -h 就宣布完成,要从三个层面验证:
1. 空间层面: 再次执行 df -h 和 df -i,确认目标分区的可用空间和使用率都回到了安全范围,一般建议使用率降到 80% 以下,至少要留出未来一到两周的增长余量。同时确认 inode 使用率也不高。
2. 服务层面: 检查之前报错的服务是否恢复。查看应用日志,确认不再出现 No space left on device;测试一次用户上传、一次数据库写入,确认写操作正常;检查 Nginx、数据库、应用进程的状态是否正常,确认没有进程因为磁盘满而异常退出。
3. 监控层面: 观察一段时间(至少 30 分钟)的磁盘使用率曲线,确认使用率不再快速上涨。如果清理完后使用率又开始快速爬升,说明导致爆满的进程还在持续写入,需要回到定位环节继续找原因,而不是反复清理。
三个层面都通过,才算真正处理完成。只看 df -h 的数字好看,但服务还在报错,是不算完成的。
八、常见坑:这些错误不要再犯
坑一:删了文件,空间不释放。 原因就是前面讲的“已删除但被进程占用”。删文件之前先用 lsof | grep deleted 看一眼,或者对正在写入的日志用截断代替删除。删完之后立即用 df -h 验证空间是否真的释放了,没释放就查 lsof。
坑二:扩容了云硬盘,系统里容量没变。 只在控制台扩容是不够的,还要在系统内扩展分区和文件系统(growpart + resize2fs / xfs_growfs)。很多人扩完控制台就以为完事了,结果 df -h 一点没变,就是漏了这一步。
坑三:用错文件系统扩容命令。 ext4 用 resize2fs,xfs 用 xfs_growfs,两者不能混用。扩容前先用 df -hT 确认类型,写错命令轻则报错、重则可能损坏文件系统。
坑四:误删数据库文件或正在运行的程序文件。 磁盘满的时候最容易慌,一慌就容易把数据库的数据文件、正在运行的程序的可执行文件当成“大文件”删掉。删除前一定要确认文件归属:用 lsof 看有没有进程在使用它,用文件名和路径判断它属于哪个服务,拿不准的先移走而不是删除——可以先把文件移到另一个分区或备份目录,观察一段时间确认业务正常后,再真正删除。
坑五:只看空间使用率,不看 inode。 有些故障是 inode 耗尽导致的,df -h 显示空间还剩很多,但 df -i 显示 inode 已用 100%。这时要找的是小文件数量最多的目录,比如会话文件目录、缓存目录、邮件队列目录,清理大量小文件,而不是找大文件。
坑六:清理完了就忘,治标不治本。 日志轮转没配、备份保留策略没加、容器日志没限制、磁盘告警阈值没设,下次同样的问题还会再来。每次处理完磁盘爆满,都要顺手把对应的预防措施补上,这次多花二十分钟,下次省掉一次凌晨故障。
坑七:直接重启服务器“试试”。 磁盘满的时候重启服务器有风险:如果启动过程需要写文件,而磁盘已满,服务可能起不来;正在写入的数据也可能因为突然断电式重启而损坏。重启应该是最后的手段,而不是第一反应。先腾空间、恢复写入,再考虑是否需要重启。
九、小结清单:下次磁盘告警时照着做
- 执行
df -h和df -i,确认是哪个分区满了,是空间耗尽还是 inode 耗尽。 - 先做快照或备份,再动数据;不确定的文件不删。
- 应急止血:清理
/tmp旧文件和包管理器缓存,腾出几百 MB 让业务先恢复写入。 - 用
du -sh /*逐层下钻定位,结合find -size +1G找出最大的文件和目录。 - 分场景清理:日志用
journalctl --vacuum-size和截断处理,配好logrotate;备份按保留天数清理,并在脚本里加上自动清理;已删除未释放的文件用lsof | grep deleted定位后重启进程或截断;Docker 用docker system prune清理,并限制容器日志大小。 - 清理不够就扩容:控制台扩容云硬盘后,在系统内用
growpart扩展分区,再按文件系统类型用resize2fs(ext4)或xfs_growfs(xfs)扩展文件系统,最后用df -h验证。 - 三层验证:空间使用率降到 80% 以下、服务写入恢复正常、观察 30 分钟确认使用率不再快速上涨。
- 补上预防措施:日志轮转、备份保留策略、容器日志限制、磁盘使用率告警阈值,四项缺一不可。
磁盘爆满从来不是突然发生的,它是日志、备份、缓存一天天积累的结果。处理时按“止血、定位、清理、扩容、验证、预防”这个顺序走,既能快速恢复业务,又能避免误删和重复故障。把这套流程跑通一次,下次再遇到磁盘告警,就不用再慌了。
# 扩展 /dev/vda 的第一个分区(盘符和分区号以实际情况为准)
growpart /dev/vda 1
然后根据文件系统类型扩展文件系统:
# ext4 文件系统
resize2fs /dev/vda1
# xfs 文件系统
xfs_growfs /
resize2fs 用于 ext4,xfs_growfs 用于 xfs,两者都是在线扩容,不需要卸载分区、不需要重启,执行后文件系统立即识别到新容量。注意不要用错:ext4 上用 xfs_growfs 会报错,xfs 上用 resize2fs 也会报错,扩容前一定要先用 df -hT 确认类型。
4. 扩容后的注意事项
扩容完成后,立即用 df -h 验证容量是否已经变大。如果容量没有变化,最常见的原因是只扩了云硬盘、没有扩展分区和文件系统,需要回头补做第三步;另一个常见原因是扩错了盘,扩容的云硬盘并不是满了的那块盘,需要核对盘符和挂载关系。
另外,扩容不是一劳永逸的。如果业务数据每月增长 10GB,这次从 100GB 扩到 200GB,大约一年后还会再满。扩容的同时,一定要把磁盘使用率告警阈值设好(比如 80% 告警、90% 严重告警),并把日志轮转、备份保留策略这些治本措施落实,否则下次还是凌晨两点被同样的告警叫醒。很多服务器上都有定时备份脚本,每天生成一个数据库备份或网站文件备份,保存在 /data/backup 里,但从来没有清理旧备份的逻辑。时间一长,几十个备份包就把磁盘吃光了。
先确认备份目录的情况:
ls -lh /data/backup/ | head -20
du -sh /data/backup/
清理之前先确认两件事:第一,这些备份是否已经在别处(对象存储、另一台服务器)还有一份副本;第二,业务需要保留最近几天的备份。如果异地已有副本,且本地只需要保留最近 7 天,就可以删除 7 天前的备份:
# 删除 /data/backup 下 7 天前生成的备份文件,删除前先用 ls 确认
find /data/backup -type f -name "*.tar.gz" -mtime +7 -delete
执行 -delete 之前,建议先不加 -delete 跑一遍 find,确认列出的文件确实是想删除的旧备份,再加上 -delete 真正执行。这是一个好习惯:任何批量删除命令,先预览、再执行。
治本的做法是在备份脚本里加上保留策略:每次备份完成后,自动删除超过保留天数的旧备份;或者把备份直接写到对象存储,本地只保留最近一份。备份的意义在于“需要时能恢复”,而不是“在本地堆满磁盘”。
场景三:已删除但被进程占用的文件——删了文件,空间却不释放
这是最让人困惑的一种情况:明明已经用 rm 删除了一个几十 GB 的日志文件,df -h 显示的可用空间却一点没变。原因在于 Linux 的文件删除机制:rm 只是删除了文件的目录项,如果还有进程正打开着这个文件,内核不会真正释放它占用的磁盘块,直到所有打开它的进程都关闭文件或退出。
用下面这条命令可以查到这类文件:
lsof | grep deleted
输出里会显示哪些进程还占着已删除的文件,以及每个文件占了多少空间。处理方法有两个:
# 方法一:重启占用该文件的进程(以 Nginx 为例)
systemctl restart nginx
# 方法二:通过 /proc 找到该进程的文件描述符并截断(不需要重启进程)
: > /proc/<进程 PID>/fd/<文件描述符编号>
方法一最彻底,重启进程后文件描述符关闭,空间立即释放,但会造成服务短暂中断,适合可以接受短暂重启的场景。方法二不需要重启,通过 /proc 下的文件描述符把文件截断为 0,空间同样释放,服务不中断,但操作时要格外小心,确认好 PID 和文件描述符编号再动手,写错了可能影响正常运行的进程。
这也是为什么前面强调:正在被写入的日志不要直接 rm,要截断。rm 删掉的只是目录项,空间不释放,还会让后续排查更困难。
场景四:Docker 镜像和日志占用——容器化服务的隐形大户
如果服务器上跑了 Docker,磁盘爆满的另一个常见来源是 Docker。镜像、容器日志、构建缓存、无用的数据卷,都会悄悄占用大量空间。
先看 Docker 总共占了多少:
docker system df
这条命令会分别显示镜像、容器、本地卷和构建缓存的占用。如果镜像占了几十 GB,可以清理掉没有被任何容器使用的镜像:
# 删除所有未被容器使用的镜像、停止的容器和未使用的网络
docker system prune -a
# 只清理构建缓存和悬空镜像,相对保守
docker system prune
docker system prune -a 会删除所有未被使用的镜像,包括那些可能以后还会用到的镜像,执行前要确认这些镜像可以重新拉取或重新构建。如果镜像来自私有仓库且重新拉取不方便,先不要加 -a,只做保守清理。
容器日志是另一个重灾区。默认情况下,Docker 容器的标准输出日志以 JSON 文件形式保存在宿主机上,且默认不限制大小,一个日志量大的容器几个月就能写出几十 GB。先找出最大的容器日志文件:
find /var/lib/docker/containers -name "*.log" -exec du -h {} + 2>/dev/null | sort -rh | head
确认后可以截断正在写入的日志文件(与普通日志一样用截断,不要直接删除),治本的做法是在启动容器时限制日志大小,例如在 docker run 时加上 --log-opt max-size=100m --log-opt max-file=3,或者在 Docker 的守护进程配置文件里全局设置日志轮转策略,让日志文件超过 100MB 就自动轮转、最多保留 3 个。
- 点赞
- 收藏
- 关注作者
评论(0)