云服务器报 Too many open files?从 lsof、ulimit 到 systemd LimitNOFILE 的排
应用日志里突然出现 Too many open files,或者 Nginx、Java、数据库进程无故拒绝新连接、socket 打不开。这类问题本质是进程打开的文件描述符(fd)达到了上限。别急着把上限调到很大,先按下面顺序把“谁开了多少、上限是多少、为什么没关”说清楚。命令在 EulerOS、CentOS 7+/8、Ubuntu 20.04+ 上通用。
一、先确认是不是 fd 耗尽
在报错发生的时刻或刚发生后,看系统整体和内核记录:
dmesg -T | grep -iE 'too many open files|VFS: file-max'
cat /proc/sys/fs/file-nr # 已分配、未用、系统上限
cat /proc/sys/fs/file-max
sysctl fs.file-max fs.nr_open
file-nr 三个数字分别是:当前已分配的 fd、已分配但暂时未用的、系统级上限(file-max)。如果已分配数已经接近 file-max,这是整机级别的上限问题;更常见的是单个进程撞上了自己的 ulimit -n / LimitNOFILE,这时 file-nr 看起来还很宽裕。
再看当前 shell 和常见服务的软硬限制:
ulimit -n # 当前 shell 的软限制
ulimit -Hn # 硬限制
注意:你在 SSH 里看到的 ulimit -n,不等于 systemd 拉起的服务进程的限制,两者经常差一个数量级。要以进程自己的 limits 为准,见第三节。
二、找出占用最多的进程
# 每个进程当前打开的 fd 数量,从高到低排
find /proc -maxdepth 1 -type d -name '[0-9]*' -printf '%f\n' 2>/dev/null \
| while read pid; do
n=$(ls /proc/$pid/fd 2>/dev/null | wc -l)
[ "$n" -gt 0 ] && printf '%6d %s\n' "$n" "$pid"
done | sort -nr | head -20
也可以用 lsof(没有就先装 lsof 包):
lsof -nP | awk '{print $2}' | sort | uniq -c | sort -nr | head
定位到 PID 后,看它是谁、限制是多少、打开了什么:
ps -o pid,user,cmd -p <PID>
ls /proc/<PID>/fd | wc -l
三、核对这个进程真正生效的上限
cat /proc/<PID>/limits | grep 'open files'
# 输出类似:Max open files 1024 4096 files
# 左列是软限制,右列是硬限制。进程撞的是软限制。
如果这里是 1024,而 ls /proc/<PID>/fd | wc -l 已经接近这个数,就可以确定是该进程的 fd 上限,而不是整机 file-max。
对 systemd 管理的服务,直接看 unit 里的限制:
systemctl show myapp.service -p LimitNOFILE -p LimitNOFILESoft
systemctl cat myapp.service | grep -i NOFILE
很多发行版给系统服务的默认软限制仍是 1024,高并发的 Nginx、Java、Redis 很容易撞上。
四、看这些 fd 都是什么,判断能不能回收
# 按类型汇总:socket、管道、普通文件、目录等
ls -l /proc/<PID>/fd 2>/dev/null | awk '{print $NF}' \
| sed 's/.*socket:.*/socket/;s/.*pipe:.*/pipe/;s/.*anon_inode:.*/anon/;s/.*\/.*/file/' \
| sort | uniq -c | sort -nr
lsof -nP -p <PID> | awk 'NR>1{print $5,$1}' | sort | uniq -c | sort -nr | head
常见成因对照:
| 现象 | 可能原因 | 处理方向 |
|---|---|---|
大量 socket 处于 CLOSE_WAIT / ESTABLISHED |
连接没关、客户端没释放、反代空闲连接堆积 | 查应用是否漏关连接;调 keepalive、空闲超时、连接池大小 |
大量打开同一个日志文件或被删但仍打开的文件((deleted)) |
日志轮转后进程没 reopen,或泄漏的临时文件 | 给进程发 reopen 信号(如 Nginx kill -USR1),修 logrotate 的 copytruncate/postrotate |
| 大量普通文件或目录 fd | 代码里 open() 后没有 close(),或递归扫描目录没关 |
修代码;临时重启只能缓解 |
| 数量稳定在上限附近,重启后又慢慢涨 | 典型泄漏 | 先临时提限额保业务,同时抓泄漏点 |
看 TCP 状态也很有用:
ss -antp | awk '{print $1}' | sort | uniq -c | sort -nr
ss -antp | grep <PID>
CLOSE_WAIT 很多,说明本进程作为服务端没把连接关掉,重点查应用逻辑,而不是先调大限额。
五、临时和长期怎么调整上限
临时、只对当前已运行进程不够,要先改它会继承的限制,再重启服务。 直接 ulimit -n 只影响当前 shell 及它随后启动的子进程。
对 systemd 服务,用 drop-in 最干净:
sudo systemctl edit myapp.service
写入:
[Service]
LimitNOFILE=65535
然后:
sudo systemctl daemon-reload
sudo systemctl restart myapp.service
cat /proc/$(systemctl show -p MainPID --value myapp.service)/limits | grep 'open files'
确认软硬限制都已生效后再观察 fd 数量是否还往上限顶。
用户登录会话的限制在:
/etc/security/limits.conf以及/etc/security/limits.d/*.conf(对 pam 登录的 shell 生效)- 不要只改
limits.conf就以为 systemd 服务也会变,服务不走 pam 登录路径。
整机上限只有在 file-nr 已接近 file-max 时才需要动:
# 先看当前值再改,示例值请按机器规格评估,不要盲目抄
sysctl fs.file-max
# 持久化写到 /etc/sysctl.d/99-file-max.conf ,例如:
# fs.file-max = 2097152
sudo sysctl -p /etc/sysctl.d/99-file-max.conf
调大限额只是争取时间。如果是泄漏,限额再大也会在几个小时或几天后再爆一次。
六、修完之后怎么确认
# 进程 fd 数量是否回落,且远离软限制
ls /proc/<PID>/fd | wc -l
cat /proc/<PID>/limits | grep 'open files'
# 应用错误日志里不再出现 Too many open files
# 结合 ss 看 CLOSE_WAIT 是否还在涨
ss -antp | awk '{print $1}' | sort | uniq -c
建议在监控里给关键进程加一条 fd 使用率告警(当前 fd / 软限制),到 70%–80% 就查,而不是等报错才动手。
小结
排查顺序可以记成:先用 file-nr 区分是整机上限还是单进程上限,再用 /proc/<PID>/fd 和 /proc/<PID>/limits 定位进程和真正生效的软限制,接着用 lsof/ss 看这些 fd 是连接泄漏、日志没 reopen 还是代码没 close,最后才在 systemd 的 LimitNOFILE 或 limits.conf 里调整限额。限额是兜底,根因还是要把没关掉的 fd 找出来。
- 点赞
- 收藏
- 关注作者
评论(0)