Linux 服务器 CPU 负载飙高排查实战:从 load average 到具体线程

举报
yd_252351073 发表于 2026/11/13 19:32:11 2026/11/13
【摘要】 在华为云 ECS 上跑业务时,经常会收到"CPU 使用率过高"或"负载过高"的告警。很多人一上来就重启服务,问题暂时消失,但根因没找到,过几天又会复发。本文整理一套从宏观到微观的排查路径,帮你快速定位到具体进程、具体线程甚至具体函数。 一、先分清"负载高"和"CPU 使用率高"uptime 输出的 load average 表示处于可运行状态和不可中断睡眠(D 状态)的任务平均数,它不等于 ...

在华为云 ECS 上跑业务时,经常会收到"CPU 使用率过高"或"负载过高"的告警。很多人一上来就重启服务,问题暂时消失,但根因没找到,过几天又会复发。本文整理一套从宏观到微观的排查路径,帮你快速定位到具体进程、具体线程甚至具体函数。

一、先分清"负载高"和"CPU 使用率高"

uptime 输出的 load average 表示处于可运行状态和不可中断睡眠(D 状态)的任务平均数,它不等于 CPU 使用率。

  • load 高、CPU 使用率也高:计算密集,进程在抢 CPU。
  • load 高、CPU 使用率不高:大量进程卡在 I/O(D 状态),要往磁盘或网络存储方向查。

判断标准:load average 长期超过 CPU 核数(nproc 查看)才值得警惕。

二、用 top / vmstat 看整体

top -c
vmstat 1 5

重点看几个字段:

  • us:用户态占比,高说明业务代码在消耗 CPU。
  • sy:内核态占比,高通常和频繁系统调用、上下文切换有关。
  • wa:I/O 等待,高说明瓶颈在磁盘。
  • st:被宿主机"偷走"的时间,云主机上如果长期偏高,要考虑规格不够或实例类型不合适。
  • vmstat 的 r 列:运行队列长度,持续大于核数说明 CPU 不够用;cs 列过高说明上下文切换频繁。

三、定位到进程

ps -eo pid,ppid,%cpu,%mem,stat,cmd --sort=-%cpu | head -15
pidstat -u 1 5

pidstat(sysstat 包)能看到每个进程在一段时间内的平均 CPU,比 top 的瞬时值更可靠。如果看到大量 D 状态进程,用 ps -eo pid,stat,wchan:30,cmd | awk '$2 ~ /D/' 查看它们卡在哪个内核函数。

四、定位到线程

找到可疑进程后,继续往下钻:

top -H -p <PID>
pidstat -t -p <PID> 1 5

对于 Java 应用,把占用最高的线程 ID 转成十六进制:

printf '%x\n' <TID>
jstack <PID> | grep -A 30 'nid=0x<十六进制TID>'

就能直接看到这个线程正在执行的调用栈,常见的有死循环、正则回溯、频繁 Full GC 等。

五、定位到函数:perf

对于 C/C++、Go 或想看内核开销的场景,用 perf:

perf top -p <PID>
perf record -F 99 -p <PID> -g -- sleep 30
perf report --stdio | head -50

配合 FlameGraph 工具生成火焰图,热点函数一目了然。

六、几个常见根因

  1. 应用死循环或低效算法:线程栈固定停在同一段代码。
  2. GC 风暴:Java 进程 jstat -gcutil <PID> 1000 看 FGC 次数是否快速上涨。
  3. 软中断过高:top 中 si 偏高,cat /proc/softirqs 观察网卡中断,可考虑开启 RPS 或调整网卡队列。
  4. 被挖矿程序入侵:出现陌生进程名、CPU 持续 100%、crontab 中有异常条目,需要立即隔离并排查安全组和弱口令。
  5. 规格不足:业务正常增长,单纯是实例太小,结合云监控历史曲线评估是否升配。

七、建立长期防线

  • 在云监控中为 CPU 使用率和负载配置告警阈值,比如 5 分钟内 CPU 超过 85%。
  • 安装 sysstat 并开启 sar 历史采集,事后可以回溯 sar -u -f /var/log/sa/saXX。
  • 关键服务通过 systemd 的 CPUQuota= 限制资源,防止单个进程拖垮整机。

总结

排查 CPU 问题的核心思路是逐层收窄范围:整机 → 进程 → 线程 → 函数。先用 uptime、vmstat 判断方向,再用 pidstat、top -H 锁定对象,最后用 jstack 或 perf 找到具体代码。养成这套习惯,比盲目重启要高效得多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。