Linux 服务器 CPU 负载飙高排查实战:从 load average 到具体线程
在华为云 ECS 上跑业务时,经常会收到"CPU 使用率过高"或"负载过高"的告警。很多人一上来就重启服务,问题暂时消失,但根因没找到,过几天又会复发。本文整理一套从宏观到微观的排查路径,帮你快速定位到具体进程、具体线程甚至具体函数。
一、先分清"负载高"和"CPU 使用率高"
uptime 输出的 load average 表示处于可运行状态和不可中断睡眠(D 状态)的任务平均数,它不等于 CPU 使用率。
- load 高、CPU 使用率也高:计算密集,进程在抢 CPU。
- load 高、CPU 使用率不高:大量进程卡在 I/O(D 状态),要往磁盘或网络存储方向查。
判断标准:load average 长期超过 CPU 核数(nproc 查看)才值得警惕。
二、用 top / vmstat 看整体
top -c
vmstat 1 5
重点看几个字段:
us:用户态占比,高说明业务代码在消耗 CPU。sy:内核态占比,高通常和频繁系统调用、上下文切换有关。wa:I/O 等待,高说明瓶颈在磁盘。st:被宿主机"偷走"的时间,云主机上如果长期偏高,要考虑规格不够或实例类型不合适。- vmstat 的
r列:运行队列长度,持续大于核数说明 CPU 不够用;cs列过高说明上下文切换频繁。
三、定位到进程
ps -eo pid,ppid,%cpu,%mem,stat,cmd --sort=-%cpu | head -15
pidstat -u 1 5
pidstat(sysstat 包)能看到每个进程在一段时间内的平均 CPU,比 top 的瞬时值更可靠。如果看到大量 D 状态进程,用 ps -eo pid,stat,wchan:30,cmd | awk '$2 ~ /D/' 查看它们卡在哪个内核函数。
四、定位到线程
找到可疑进程后,继续往下钻:
top -H -p <PID>
pidstat -t -p <PID> 1 5
对于 Java 应用,把占用最高的线程 ID 转成十六进制:
printf '%x\n' <TID>
jstack <PID> | grep -A 30 'nid=0x<十六进制TID>'
就能直接看到这个线程正在执行的调用栈,常见的有死循环、正则回溯、频繁 Full GC 等。
五、定位到函数:perf
对于 C/C++、Go 或想看内核开销的场景,用 perf:
perf top -p <PID>
perf record -F 99 -p <PID> -g -- sleep 30
perf report --stdio | head -50
配合 FlameGraph 工具生成火焰图,热点函数一目了然。
六、几个常见根因
- 应用死循环或低效算法:线程栈固定停在同一段代码。
- GC 风暴:Java 进程
jstat -gcutil <PID> 1000看 FGC 次数是否快速上涨。 - 软中断过高:
top中si偏高,cat /proc/softirqs观察网卡中断,可考虑开启 RPS 或调整网卡队列。 - 被挖矿程序入侵:出现陌生进程名、CPU 持续 100%、crontab 中有异常条目,需要立即隔离并排查安全组和弱口令。
- 规格不足:业务正常增长,单纯是实例太小,结合云监控历史曲线评估是否升配。
七、建立长期防线
- 在云监控中为 CPU 使用率和负载配置告警阈值,比如 5 分钟内 CPU 超过 85%。
- 安装 sysstat 并开启
sar历史采集,事后可以回溯sar -u -f /var/log/sa/saXX。 - 关键服务通过 systemd 的
CPUQuota=限制资源,防止单个进程拖垮整机。
总结
排查 CPU 问题的核心思路是逐层收窄范围:整机 → 进程 → 线程 → 函数。先用 uptime、vmstat 判断方向,再用 pidstat、top -H 锁定对象,最后用 jstack 或 perf 找到具体代码。养成这套习惯,比盲目重启要高效得多。
- 点赞
- 收藏
- 关注作者
评论(0)