ECS 上容器日志写满磁盘:df 已满时怎么查、怎么限

举报
yd_252351073 发表于 2026/10/27 09:27:51 2026/10/27
【摘要】 在华为云 ECS 上跑 Docker 或容器化的 Nginx 时,系统盘突然 100%,但用 du 在业务目录里找不到大文件。多数情况不是业务数据,而是容器把 json 日志写进了 /var/lib/docker。本文按实验环境里踩过的顺序,说明怎么定位、怎么腾出空间、怎么避免再次写满。 先分清 df 和 du 各看什么df -hT 看的是文件系统已经分配的块,du 看的是目录树里还能遍历到...

在华为云 ECS 上跑 Docker 或容器化的 Nginx 时,系统盘突然 100%,但用 du 在业务目录里找不到大文件。多数情况不是业务数据,而是容器把 json 日志写进了 /var/lib/docker。本文按实验环境里踩过的顺序,说明怎么定位、怎么腾出空间、怎么避免再次写满。

先分清 df 和 du 各看什么

df -hT 看的是文件系统已经分配的块,du 看的是目录树里还能遍历到的文件。两边对不上,常见就三类:

  1. 文件已经删除,但进程还握着文件描述符,空间不会释放。
  2. 数据盘挂载之前写进挂载点的文件被盖住了,du 当前目录看不到,系统盘仍被占用。
  3. 你只 du 了家目录或站点目录,漏掉了 /var。

先执行 df -hT 和 df -i,确认是数据块用满而不是 inode 用满,并看清是系统盘还是数据盘。

容器日志往往在 /var 里

在 ECS 上用 root 执行:

du -xhd1 /var

如果 /var/lib/docker 特别大,再看:

docker system df

它会把镜像、容器、本地卷分开。单个容器的 json 日志在 /var/lib/docker/containers/<id>/<id>-json.log,Nginx 访问日志如果打到 stdout,这个文件几天就能到几十 GB。

另外看一下 systemd 日志:

journalctl --disk-usage

过大时可以执行 journalctl --vacuum-size=200M,先把系统日志收回来,给后续操作留出空间。

已删除但仍被占用时不要乱截断

lsof +L1 能列出已删除但仍占空间的文件。日志切割后 Nginx 或 Java 没有重新打开文件,就会出现在这里。处理方式是重启对应进程,让它松开描述符。

不要看到 /proc/PID/fd/N 就直接截断。这个描述符可能指向数据库文件或仍在使用的临时文件,截断会直接改掉内容。只在确认它就是那份已删除的日志、并且业务允许时再处理。

限制 json 日志,避免再次写满

在 /etc/docker/daemon.json 里给 json-file 加上大小和份数,例如:

{“log-driver”:“json-file”,“log-opts”:{“max-size”:“50m”,“max-file”:“3”}}

然后执行 systemctl restart docker。这个配置只对新建容器生效,已经在跑的 Nginx 容器需要重建后才会套用新的日志限制。重建前确认 compose 或启动参数里的数据卷还在,不要把站点目录一起删掉。

如果业务需要长期留访问日志,不要靠这份 json 日志,把它挂到数据盘,或交给云日志服务,系统盘只保留滚动的小文件。

和云硬盘扩容区分开

控制台里的快照不占用客户机里 df 看到的空间。如果控制台已经把盘扩容了,但 df 容量没变,那是分区或文件系统没延伸,需要 growpart,再按文件系统执行 resize2fs 或 xfs_growfs。那是“容量没变大”,和这次“df 已经 100%”不是同一个问题。

腾出空间之前先看清文件属于哪个容器。确认没有已删除未释放的大文件、也没有被挂载盖住的数据之后,再决定要不要升系统盘。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。