云服务器报 Too many open files?从 lsof、ulimit 到 systemd LimitNOFILE 的排

举报
yd_275727902 发表于 2026/11/12 09:30:32 2026/11/12
【摘要】 应用日志里突然出现 Too many open files,或者 Nginx、Java、数据库进程无故拒绝新连接、socket 打不开。这类问题本质是进程打开的文件描述符(fd)达到了上限。别急着把上限调到很大,先按下面顺序把“谁开了多少、上限是多少、为什么没关”说清楚。命令在 EulerOS、CentOS 7+/8、Ubuntu 20.04+ 上通用。 一、先确认是不是 fd 耗尽在报错发...

应用日志里突然出现 Too many open files,或者 Nginx、Java、数据库进程无故拒绝新连接、socket 打不开。这类问题本质是进程打开的文件描述符(fd)达到了上限。别急着把上限调到很大,先按下面顺序把“谁开了多少、上限是多少、为什么没关”说清楚。命令在 EulerOS、CentOS 7+/8、Ubuntu 20.04+ 上通用。

一、先确认是不是 fd 耗尽

在报错发生的时刻或刚发生后,看系统整体和内核记录:

dmesg -T | grep -iE 'too many open files|VFS: file-max'
cat /proc/sys/fs/file-nr          # 已分配、未用、系统上限
cat /proc/sys/fs/file-max
sysctl fs.file-max fs.nr_open

file-nr 三个数字分别是:当前已分配的 fd、已分配但暂时未用的、系统级上限(file-max)。如果已分配数已经接近 file-max,这是整机级别的上限问题;更常见的是单个进程撞上了自己的 ulimit -n / LimitNOFILE,这时 file-nr 看起来还很宽裕。

再看当前 shell 和常见服务的软硬限制:

ulimit -n                         # 当前 shell 的软限制
ulimit -Hn                        # 硬限制

注意:你在 SSH 里看到的 ulimit -n,不等于 systemd 拉起的服务进程的限制,两者经常差一个数量级。要以进程自己的 limits 为准,见第三节。

二、找出占用最多的进程

# 每个进程当前打开的 fd 数量,从高到低排
find /proc -maxdepth 1 -type d -name '[0-9]*' -printf '%f\n' 2>/dev/null \
  | while read pid; do
      n=$(ls /proc/$pid/fd 2>/dev/null | wc -l)
      [ "$n" -gt 0 ] && printf '%6d  %s\n' "$n" "$pid"
    done | sort -nr | head -20

也可以用 lsof(没有就先装 lsof 包):

lsof -nP | awk '{print $2}' | sort | uniq -c | sort -nr | head

定位到 PID 后,看它是谁、限制是多少、打开了什么:

ps -o pid,user,cmd -p <PID>
ls /proc/<PID>/fd | wc -l

三、核对这个进程真正生效的上限

cat /proc/<PID>/limits | grep 'open files'
# 输出类似:Max open files  1024  4096  files
# 左列是软限制,右列是硬限制。进程撞的是软限制。

如果这里是 1024,而 ls /proc/<PID>/fd | wc -l 已经接近这个数,就可以确定是该进程的 fd 上限,而不是整机 file-max。

对 systemd 管理的服务,直接看 unit 里的限制:

systemctl show myapp.service -p LimitNOFILE -p LimitNOFILESoft
systemctl cat myapp.service | grep -i NOFILE

很多发行版给系统服务的默认软限制仍是 1024,高并发的 Nginx、Java、Redis 很容易撞上。

四、看这些 fd 都是什么,判断能不能回收

# 按类型汇总:socket、管道、普通文件、目录等
ls -l /proc/<PID>/fd 2>/dev/null | awk '{print $NF}' \
  | sed 's/.*socket:.*/socket/;s/.*pipe:.*/pipe/;s/.*anon_inode:.*/anon/;s/.*\/.*/file/' \
  | sort | uniq -c | sort -nr

lsof -nP -p <PID> | awk 'NR>1{print $5,$1}' | sort | uniq -c | sort -nr | head

常见成因对照:

现象 可能原因 处理方向
大量 socket 处于 CLOSE_WAIT / ESTABLISHED 连接没关、客户端没释放、反代空闲连接堆积 查应用是否漏关连接;调 keepalive、空闲超时、连接池大小
大量打开同一个日志文件或被删但仍打开的文件((deleted)) 日志轮转后进程没 reopen,或泄漏的临时文件 给进程发 reopen 信号(如 Nginx kill -USR1),修 logrotate 的 copytruncate/postrotate
大量普通文件或目录 fd 代码里 open() 后没有 close(),或递归扫描目录没关 修代码;临时重启只能缓解
数量稳定在上限附近,重启后又慢慢涨 典型泄漏 先临时提限额保业务,同时抓泄漏点

看 TCP 状态也很有用:

ss -antp | awk '{print $1}' | sort | uniq -c | sort -nr
ss -antp | grep <PID>

CLOSE_WAIT 很多,说明本进程作为服务端没把连接关掉,重点查应用逻辑,而不是先调大限额。

五、临时和长期怎么调整上限

临时、只对当前已运行进程不够,要先改它会继承的限制,再重启服务。 直接 ulimit -n 只影响当前 shell 及它随后启动的子进程。

对 systemd 服务,用 drop-in 最干净:

sudo systemctl edit myapp.service

写入:

[Service]
LimitNOFILE=65535

然后:

sudo systemctl daemon-reload
sudo systemctl restart myapp.service
cat /proc/$(systemctl show -p MainPID --value myapp.service)/limits | grep 'open files'

确认软硬限制都已生效后再观察 fd 数量是否还往上限顶。

用户登录会话的限制在:

  • /etc/security/limits.conf 以及 /etc/security/limits.d/*.conf(对 pam 登录的 shell 生效)
  • 不要只改 limits.conf 就以为 systemd 服务也会变,服务不走 pam 登录路径。

整机上限只有在 file-nr 已接近 file-max 时才需要动:

# 先看当前值再改,示例值请按机器规格评估,不要盲目抄
sysctl fs.file-max
# 持久化写到 /etc/sysctl.d/99-file-max.conf ,例如:
# fs.file-max = 2097152
sudo sysctl -p /etc/sysctl.d/99-file-max.conf

调大限额只是争取时间。如果是泄漏,限额再大也会在几个小时或几天后再爆一次。

六、修完之后怎么确认

# 进程 fd 数量是否回落,且远离软限制
ls /proc/<PID>/fd | wc -l
cat /proc/<PID>/limits | grep 'open files'

# 应用错误日志里不再出现 Too many open files
# 结合 ss 看 CLOSE_WAIT 是否还在涨
ss -antp | awk '{print $1}' | sort | uniq -c

建议在监控里给关键进程加一条 fd 使用率告警(当前 fd / 软限制),到 70%–80% 就查,而不是等报错才动手。

小结

排查顺序可以记成:先用 file-nr 区分是整机上限还是单进程上限,再用 /proc/<PID>/fd 和 /proc/<PID>/limits 定位进程和真正生效的软限制,接着用 lsof/ss 看这些 fd 是连接泄漏、日志没 reopen 还是代码没 close,最后才在 systemd 的 LimitNOFILE 或 limits.conf 里调整限额。限额是兜底,根因还是要把没关掉的 fd 找出来。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。