ECS 上容器日志写满磁盘:df 已满时怎么查、怎么限
在华为云 ECS 上跑 Docker 或容器化的 Nginx 时,系统盘突然 100%,但用 du 在业务目录里找不到大文件。多数情况不是业务数据,而是容器把 json 日志写进了 /var/lib/docker。本文按实验环境里踩过的顺序,说明怎么定位、怎么腾出空间、怎么避免再次写满。
先分清 df 和 du 各看什么
df -hT 看的是文件系统已经分配的块,du 看的是目录树里还能遍历到的文件。两边对不上,常见就三类:
- 文件已经删除,但进程还握着文件描述符,空间不会释放。
- 数据盘挂载之前写进挂载点的文件被盖住了,du 当前目录看不到,系统盘仍被占用。
- 你只 du 了家目录或站点目录,漏掉了 /var。
先执行 df -hT 和 df -i,确认是数据块用满而不是 inode 用满,并看清是系统盘还是数据盘。
容器日志往往在 /var 里
在 ECS 上用 root 执行:
du -xhd1 /var
如果 /var/lib/docker 特别大,再看:
docker system df
它会把镜像、容器、本地卷分开。单个容器的 json 日志在 /var/lib/docker/containers/<id>/<id>-json.log,Nginx 访问日志如果打到 stdout,这个文件几天就能到几十 GB。
另外看一下 systemd 日志:
journalctl --disk-usage
过大时可以执行 journalctl --vacuum-size=200M,先把系统日志收回来,给后续操作留出空间。
已删除但仍被占用时不要乱截断
lsof +L1 能列出已删除但仍占空间的文件。日志切割后 Nginx 或 Java 没有重新打开文件,就会出现在这里。处理方式是重启对应进程,让它松开描述符。
不要看到 /proc/PID/fd/N 就直接截断。这个描述符可能指向数据库文件或仍在使用的临时文件,截断会直接改掉内容。只在确认它就是那份已删除的日志、并且业务允许时再处理。
限制 json 日志,避免再次写满
在 /etc/docker/daemon.json 里给 json-file 加上大小和份数,例如:
{“log-driver”:“json-file”,“log-opts”:{“max-size”:“50m”,“max-file”:“3”}}
然后执行 systemctl restart docker。这个配置只对新建容器生效,已经在跑的 Nginx 容器需要重建后才会套用新的日志限制。重建前确认 compose 或启动参数里的数据卷还在,不要把站点目录一起删掉。
如果业务需要长期留访问日志,不要靠这份 json 日志,把它挂到数据盘,或交给云日志服务,系统盘只保留滚动的小文件。
和云硬盘扩容区分开
控制台里的快照不占用客户机里 df 看到的空间。如果控制台已经把盘扩容了,但 df 容量没变,那是分区或文件系统没延伸,需要 growpart,再按文件系统执行 resize2fs 或 xfs_growfs。那是“容量没变大”,和这次“df 已经 100%”不是同一个问题。
腾出空间之前先看清文件属于哪个容器。确认没有已删除未释放的大文件、也没有被挂载盖住的数据之后,再决定要不要升系统盘。
- 点赞
- 收藏
- 关注作者
评论(0)