Linux 平均负载 load average:CPU 明明很闲,为什么 load 飙到 8?
Linux 平均负载 load average:CPU 明明很闲,为什么 load 飙到 8?
uptime 里那三个数字 load average: 8.12, 6.30, 3.05 大概是最容易被误读的指标。不少人第一反应是"CPU 快炸了",结果打开 top 一看,CPU 使用率才 20%,%wa 也没多高。这不是监控坏了,而是 load 数的根本不是 CPU 忙闲。
它数的是"在排队和等不来的任务"
内核维护一个全局计数:处于**可运行状态(R)的进程,加上处于不可中断睡眠(D,TASK_UNINTERRUPTIBLE)**的进程,两者之和取指数移动平均,再按 1、5、15 分钟三个窗口平滑出来,就是 /proc/loadavg 的前三列。
关键词是"任务数",不是"百分比"。R 状态包含真正在 CPU 上跑的和在 run queue 里等 CPU 的;D 状态则通常是等磁盘 I/O、等 NFS、等某些内核锁的进程 —— 它们根本不消耗 CPU,却照样被计进 load。所以"CPU 很闲但 load 很高"几乎是 D 状态堆积的标准画像:后端存储抖了一下,几百个进程卡在 I/O 上,CPU 自然闲得发慌。
顺手看一眼 /proc/loadavg 的后两列也很有用,比如 8.12 6.30 3.05 12/842 31807:斜杠前的 12 是当前正在运行/可运行的内核实体数,842 是总任务数;最后一列是最近创建的 PID。分子长期远小于 load,就说明大量任务卡在不可中断睡眠里。
先除以核数,再谈高低
load 没有绝对阈值,必须按 CPU 数归一化。用 nproc(容器里建议配合 cgroup 配额看 cpu.max,别信宿主机的核数)拿到可用核数 N:单核机器上 load 1.0 就是满载,4 核机器 load 4.0 才算跑满,8 核下 load 8 属于"刚好排队不亏"。所以同样一个 8.12,在 2 核虚拟机上是严重过载,在 16 核机器上只是半载。
经验做法是看趋势而不是瞬时值:1 分钟值远高于 15 分钟值,说明是刚起来的短时尖峰,可以先观察;1/5/15 三档一起高并持续爬升,才是需要介入的持续压力。
一套可复用的排查顺序
uptime看三档趋势,nproc拿到归一化基准。vmstat 1看r列(等 CPU 的任务数)和b列(不可中断睡眠数)。r持续大于核数 → CPU 瓶颈;b高而r低 → I/O 或锁等待。ps -eo stat,pid,ppid,comm,wchan:24 | awk '$1 ~ /^D/'把 D 状态进程和它们卡在哪个内核函数(wchan)抓出来。iostat -x 1看%util、await,配合iotop定位是哪个进程在压存储;NFS/网络存储还要查服务端和网络。- 确认是 CPU 型压力再用
pidstat -u 1、top找热点进程;%wa(iowait)高只代表"CPU 在等 I/O 时有空闲",不能单独当磁盘瓶颈结论。
几个常见的坑
- 容器里读到的 load 是宿主机的:
/proc/loadavg未做命名空间隔离,容器内uptime反映的是整个节点,判断吞吐要看 cgroup 的cpu.stat(nr_throttled)和cpu.max。 - load 高 ≠ CPU 高,load 低 ≠ 没问题:单个单线程死循环能把一个核跑满,在 32 核机器上 load 才 1.0,看起来"很健康"。延迟敏感服务还要看
ps的调度延迟和 RT 指标。 - 别一上来就调
vm.swappiness或加机器:先分清是 run queue 排队还是 D 状态堆积,前者加核/限流,后者查存储与锁,方向完全不同。
小结
把 load average 当"系统里有多少任务在等(等 CPU 或等不可中断的 I/O)"来理解,就不会再被"CPU 20% 却 load 8"绕晕:先除以核数看归一化水位,再靠 vmstat 的 r/b 分流到 CPU 或 I/O 两条排查线,最后用 wchan、iostat、pidstat 落到具体进程。这三个数字是入口,不是结论。
(本文为原创实践整理,命令均在常见发行版与容器环境验证过;不同内核版本的 wchan 显示略有差异。)
- 点赞
- 收藏
- 关注作者
评论(0)