华为云 ECS CPU 100%、负载高、卡顿?分层排查指南

举报
yd_294423728 发表于 2026/11/13 12:59:16 2026/11/13
【摘要】 ECS CPU 100%、负载高或卡顿,先定层再动手:分清基础监控 cpu_util 与 Agent cpu_usage 的口径和周期;T6 看积分余额,耗尽后只剩基准性能;共享型看 st 争抢;用 top、pidstat、perf 定位进程;负载高而 CPU 不高多是 IO 等待;陌生进程查 HSS 进程异常行为告警与自启动项;Windows 用资源监视器和性能监视器。附排查顺序与速查表。

华为云 ECS CPU 100%、负载高、卡顿?分层排查指南

「CPU 一直 100%」「负载很高但看不出是谁」「服务器莫名其妙变卡」是 ECS 上最常见的求助。很多人看到告警就直接升配或重启,结果过几天问题又回来了。CPU 高并不一定是业务跑满了:可能是监控口径不同造成的「假高」,可能是突发性能实例积分耗尽,可能是共享型实例在争抢宿主机 CPU,可能是磁盘 IO 堵住了,也可能是被植入了挖矿程序。本文对照华为云 ECS、CES、HSS 官方文档,把排查拆成几层,最后给出推荐顺序、速查表和常见坑。

一、先定层:这个「CPU 高」是哪一层的问题

动手前,我习惯先回答三个问题:数字是谁报的?实例是什么规格?OS 里能不能看到对应的进程?据此先归层:

层 关注点 一句话判断
监控口径 基础监控与 Agent 指标、采集周期 控制台高,OS 里却不高
实例规格 T6 积分、共享型争抢、st 业务量没变,突然变慢
进程定位 top / pidstat / perf,单核瓶颈 有明确的高 CPU 进程
IO 等待误判 wa、D 状态进程、负载 负载高但 CPU 不忙
异常进程 挖矿、木马、HSS 告警 陌生进程、杀了又起
Windows 任务管理器、资源监视器、性能监视器 Windows 实例
兜底 变更规格、换独享型、弹性伸缩 确认是真实负载不够用

二、第 0 层:先确认数字是谁报的

1. 基础监控和操作系统监控不是一回事

在云监控 CES 的「主机监控」里,ECS 有两类 CPU 指标:

  • 基础监控:命名空间 SYS.ECS,指标 cpu_util(CPU使用率)。由 ECS 自动上报,无需安装 Agent;官方说明该指标「从物理机层面采集」,数据准确性低于从云服务器内部采集的数据;KVM/QingTian 实例原始指标的监控周期为 5 分钟。
  • 操作系统监控:需要在 ECS 内安装 CES Agent,指标前缀是「(Agent)」,例如 cpu_usage(CPU使用率)、cpu_usage_user(用户空间,对应 top 的 us)、cpu_usage_system(内核空间,对应 sy)、cpu_usage_iowait(iowait 占比,对应 wa)、cpu_usage_softirq(软中断,对应 si),监控周期为 1 分钟。

负载类指标要特别注意名字:load_average1/5/15 在官方定义里是「单核平均负载」,即 /proc/loadavg 的 load 值除以逻辑 CPU 个数;load_total_average1/5/15 才是整机平均负载,需要 Agent 2.8.2 及以上,目前只在部分区域上线(见 ces_faq_2513)。很多人把 4 核机器 load 为 4 的情况理解成「负载 4,很危险」,换成单核平均负载其实只有 1。

2. 两边对不上,常见的几种原因

  • 基础监控接近 100%,OS 内不到一半:CES 常见问题给出的原因是 Guest OS 配置了 idle=poll(SAP HANA 场景内部是 idle=mwait),空闲时 CPU 也不主动让出,物理机层面看起来就很忙。官方只用 cat /proc/cmdline 查 idle=poll;查 idle=mwait 要联系技术支持(见 ces_faq_0040)。
  • Agent 的 cpu_usage 高,top 里却找不到高占用进程:官方说明 cpu_usage 包含 iowait,进程在等磁盘时 top 里 %CPU 接近 0,但总使用率会被 wa 抬高。这种情况直接看第四层。
  • 统计周期不同:CES 展示的是 1 分钟(或 5 分钟)平均值,top 默认约 3 秒刷新一次,短时尖峰两边对不上很正常。
  • top 不高,基础监控却很高:ECS 的 FAQ 把这种情况列为「系统被入侵导致 top 结果不可信」,建议做病毒查杀,直接跳到第五层。

所以第一步不是登录服务器,而是先看清告警来自哪个指标。如果还没装 Agent,建议先装上,后面每一层都要用到 1 分钟粒度的分项数据。

三、第 1 层:实例规格——积分、共享和 st

1. 突发性能实例:积分用完就只剩基准性能

ECS 的 CPU 积分机制目前用于通用计算型 S6 和通用入门型 T6,不额外计费。区别是:S6 属于「不限制积分」的共享型实例,突发时间不受积分限制;T6 属于「限制积分」的共享型实例,实际计算性能长期高于基准性能时会持续消耗累积积分,累积积分为 0 时,实际计算性能无法超过基准性能。

官方文档里几个关键规则:

  • 1 个 vCPU 按 100% 利用率运行 1 分钟,消耗 1 个积分。
  • 实际 CPU 计算性能 = CPU 使用率 × vCPU 个数;低于基准时按差值每分钟累积积分,高于基准时消耗累积积分,优先消耗初始积分。
  • 积分达到最大积分后停止累积,初始积分不计入上限。
  • 以 t6.large.1(2 vCPU)为例:基准 CPU 计算性能 40%,即平均每个 vCPU 20%;每小时获得 24 个积分;创建时初始积分 60;最大积分 576。
  • 关机的影响因计费模式而异:包年/包月关机后积分保留并继续累积;按需计费关机后积分保留但不再累积;竞价计费的关机规则和按需一样,保留积分但不再累积。

按文档公式推算一下:一台 t6.large.1 两个核都跑满,实际计算性能 200%,每分钟消耗 2 个积分、获得 0.4 个,净消耗 1.6 个;积分攒满 576 时,按公式约 6 小时(576÷1.6=360 分钟)。初始积分不计入上限,还剩 60 个初始积分时能多撑约 40 分钟。常见的情况是:开发测试期 CPU 很闲,积分一直是满的,上线后一次批处理或流量高峰持续跑满,几个小时后整机突然变慢,业务量却没变。

怎么确认:控制台实例列表「更多 > 查看积分指标」,或在 CES 里看 cpu_credit_usage(CPU积分使用量)和 cpu_credit_balance(CPU积分累积量)。这两项属于基础监控(SYS.ECS),不用装 Agent,官方标注「仅 T6 型支持」。支持表按虚拟化类型分:XEN 的 Windows 和 Linux 都不支持,KVM/QingTian 的 Windows 和 Linux 都支持;T6 是 KVM,所以 Windows T6 也能在控制台或 CES 看到这两项。依据见 https://support.huaweicloud.cn/usermanual-ecs/ecs_03_1002.html,T6 为 KVM 见 ecs_01_0024。积分余额一路下降到接近 0、同时业务变慢,基本就能定层。

2. 共享型实例:可能被「邻居」抢走 CPU

官方「实例类型」页面说明:独享型实例独享 CPU,实例间无 CPU 资源争抢;共享型实例多实例共享 CPU,实例间可能出现争抢,高负载时性能不稳定。共享型对应的规格就是「通用计算型」和「通用入门型」。ECS 卡顿 FAQ 也把「使用共享资源型实例」列为卡顿原因之一,建议对稳定性要求高的业务变更为独享型。

在 OS 里,这类问题通常体现在 top 第三行的 st。官方 FAQ 对它的解释是「虚拟化环境中被宿主机占用的CPU时间」。我习惯用下面的命令看每个核的 st:

top          # 按 1 展开每个核,看 %st
mpstat -P ALL 1 5    # 需要 sysstat 包

其中 mpstat 属通用 Linux 知识,非华为云官方文档。st 持续偏高、业务又对延迟敏感时,在 OS 里优化进程意义不大,应该在规格层面解决。st 的「多高才算高」官方没有给统一阈值,结合业务表现判断即可。

四、第 2 层:进程定位(Linux)

规格和口径排除后,才轮到「到底是谁在吃 CPU」。官方 FAQ 的基本路径只用 top 加 vmstat;下面补上的 pidstat 和 perf 属通用 Linux 知识,非华为云官方文档。

top                  # 按 P 按 CPU 排序,按 1 看每核,记下 PID
ps -elf | grep <PID> # 看完整命令行
vmstat 1 5           # r 运行队列、b 阻塞进程、us/sy/wa/id
pidstat -u 1 5       # 按进程看 CPU,区分 %usr / %system
pidstat -t -p <PID> 1 5   # 进一步看是哪个线程
perf top -p <PID>    # 看热点函数(需安装 perf)

几个判断要点(其中 pidstat、perf 属通用 Linux 知识,非华为云官方文档):

  • us 高:应用自身计算多,结合 pidstat/perf 定位到线程和函数,Java 可以把线程 ID 转十六进制再对 jstack 输出。
  • sy 高:系统调用或上下文切换频繁,用 pidstat -w 看切换次数。
  • 单核 100%、整体不高:单线程程序或网卡软中断集中在一个核上,si 偏高时检查网卡多队列。整机平均 25% 不代表没有瓶颈。
  • kswapd0 持续高 CPU:官方说明这是内存不足导致频繁换页,应转向内存排查,而不是盯着 CPU。

如果是偶发冲高、登录上去时已经消失,官方建议安装 atop 记录历史,文档见 https://support.huaweicloud.cn/trouble-ecs/ecs_trouble_0328.html。另外,控制台的「深度诊断」(「更多 > 运维与监控 > 深度诊断」)仅支持 Linux,它依赖云运维中心 COC 和 UniAgent,需要开通授权;诊断项里有「总CPU占用率过高」(整体超过 80%)、「CPU使用率过高的进程」(单进程超过整机 50%)、「单个CPU占用率过高」(单核超过 85%)等结论,可以当作第二意见。

五、第 3 层:把 IO 等待误判成 CPU 高

这是最容易走弯路的一层。典型现象是:负载很高、业务很卡,CES 的 CPU 使用率也不低,但 top 里每个进程的 %CPU 都不高。

Linux 的 load 不只统计正在跑的进程,还会统计处于不可中断睡眠(D 状态)的进程,它们大多在等磁盘或网络存储——这一解释属通用 Linux 知识,非华为云官方文档。官方 FAQ(ecs_faq_2601)把「CPU 使用率低但负载很高」归因于大量 D 状态进程,对应 vmstat 的 b 列,并说明 D 状态进程无法被终止,只能恢复其依赖的资源或重启;官方给出的排查命令是 ps -elf | grep " D"。下面的 iostat、iotop 属通用 Linux 知识,非华为云官方文档:

ps -elf | grep " D" | grep -v grep   # 找 D 状态进程(官方用法见 ecs_faq_2601)
iostat -x 1 5                        # 看 await、%util
iotop -o                             # 谁在读写(需安装)

确认是 IO 问题后,方向就变成磁盘:云硬盘类型和性能上限够不够、有没有日志狂写、是不是在做大批量备份。此时升 CPU 规格基本没用。

六、第 4 层:挖矿等异常进程与 HSS 提示

几个值得警惕的信号:进程名伪装成系统进程或是一串随机字符、kill 掉几分钟后又出现、出现陌生的 crontab 或 systemd 服务、有到陌生地址的持续外连、top 不高但基础监控很高。

HSS 官方 FAQ「主机被挖矿攻击,怎么办?」的路径是:

  1. 在企业主机安全控制台进入「检测与响应 > 安全告警事件 > 主机安全告警 > 系统异常行为 > 进程异常行为」(含部分进程的隔离查杀),出现挖矿行为时会触发这类告警,可以点「处理」进行隔离查杀。
  2. 挖矿程序常通过自启动项驻留,到「资产管理 > 主机指纹 > 自启动项」查看「历史变动记录」,清除可疑项。
  3. 清除后做安全加固:所有账号改强口令或改用密钥登录,严格控制管理员账户,用安全组只开放必要端口,远程登录端口限制来源 IP。

上述「进程异常行为」和「自启动项」能力,基础版和专业版都不支持,企业版、旗舰版、网页防篡改版、容器版支持。基础版和专业版改为手动检查 crontab -l、/etc/cron.*、systemctl list-unit-files、~/.ssh/authorized_keys。专业版虽然支持挖矿软件检测与隔离查杀,但走的不是这条路径;隔离查杀也只覆盖部分异常进程。依据见 https://support.huaweicloud.cn/productdesc-hss2.0/hss_01_0136.html,路径见 https://support.huaweicloud.cn/hss2.0_faq/hss_01_0206.html。没有开通 HSS 时,同样按上面的手动检查项排查。只 kill 进程不处理入口和驻留,几乎一定会复发;被入侵过的机器,常见做法是备份数据后用干净镜像重建。

七、Windows 实例怎么查

Windows 的思路一样,只是换工具:

  • 资源监视器:运行 perfmon -res,在「CPU」页签看高占用进程,可以通过句柄和模块反查进程。
  • 任务管理器:运行 taskmgr,在「详细信息」按 PID 找到进程,右键「打开文件所在的位置」判断是否为恶意程序;「性能」页签可以把 CPU 图切换为逻辑处理器,看单核情况。
  • 性能监视器:添加 \Processor(_Total)\% Processor Time、% User Time、% Privileged Time。官方 FAQ 提到,Privileged Time 超过 30% 说明在进行高 I/O 吞吐相关操作,需要继续看 % DPC Time、% Interrupt Time 和 Context Switches/sec。

正常进程方面,官方建议检查后台是否在跑 Windows Update、杀毒软件是否在扫描;还可以用 fltmc 查看文件系统过滤驱动,对不明来源驱动查看数字签名。

八、第 5 层:确认是真实负载后再扩容

前面几层都排除,确认就是业务量超过了实例能力,才轮到花钱:

  • 变更规格:官方说明变更规格过程中 ECS 需要关机,建议选业务空闲时间。「按需立即生效」指的是计费立即按新规格算,变更过程仍要关机。T6 积分长期不够用、或共享型 st 偏高时,换成独享型规格往往比在同系列里升一档更有效。
  • 弹性伸缩 AS:业务有明显波峰波谷、且应用能横向扩展时,用 AS 按 CPU 指标扩缩容。如果是 Agent 指标触发,要先确认组内实例都装了 Agent。
  • 告警前移:在 CES 里给 cpu_usage、load_average5 设告警,T6 实例再加一条 cpu_credit_balance 低于某值的告警,比等到 CPU 100% 再处理主动得多。阈值按业务自己定。

九、推荐排查顺序

  1. 看告警来自 cpu_util 还是 Agent 的 cpu_usage,没装 Agent 先装。
  2. 看实例规格:是不是 T6/S6 等共享型;T6 看积分余额。
  3. 登录后 top 按 1,看 us/sy/wa/st 哪一项高。
  4. st 高回到第 1 层;wa 高或 D 状态多走第 3 层。
  5. us/sy 高用 pidstat、perf 定位到进程和线程。
  6. 陌生进程、杀了又起、top 与基础监控对不上,走第 4 层并看 HSS 告警。
  7. 确认是真实业务负载,再变更规格或用弹性伸缩。

十、速查表

现象 优先怀疑 先看哪里
基础监控近 100%,OS 内不高 idle=poll 等口径问题 /proc/cmdline、Agent 指标
Agent CPU 高,top 找不到进程 iowait 计入 cpu_usage_iowait、top 的 wa
T6 用着用着变慢 积分耗尽 cpu_credit_balance
共享型偶发卡顿 宿主机争抢 top 的 st、实例类型
单进程高 业务代码或死循环 pidstat -t、perf top
整体不高但有核 100% 单线程或软中断集中 top 按 1、si
kswapd0 高 内存不足 free -m、内存指标
负载高、CPU 不高 D 状态进程 vmstat 的 b、iostat -x
陌生进程杀了又起 挖矿或木马 HSS 告警、自启动项
top 低、基础监控高 top 不可信(入侵) 病毒查杀
Windows 特权时间高 驱动、中断、高 IO 性能监视器 DPC/中断

十一、常见坑

  • 把单核平均负载当整机负载:load_average1 已经除过核数,阈值不能照搬 top 里的 load。
  • 只看 5 分钟粒度:基础监控 5 分钟取一个点,短时尖峰会被抹平,排查时用 Agent 的 1 分钟数据。
  • T6 测试时一切正常:测试期积分是满的,压测时间不够长,看不出积分耗尽后的真实性能。
  • IO 问题升 CPU:wa 高时升配 CPU 往往没效果,钱花了还不解决问题。
  • 只 kill 挖矿进程:不清理自启动项、不改口令、不收紧安全组,会反复被种回来。

十二、官方参考

弹性云服务器支持的基础监控指标
https://support.huaweicloud.cn/usermanual-ecs/ecs_03_1002.html
Agent支持的指标列表(CES 常见问题)
https://support.huaweicloud.cn/ces_faq/ces_faq_2513.html
基础监控与操作系统监控数据出现不一致的问题(CES 常见问题)
https://support.huaweicloud.cn/ces_faq/ces_faq_0040.html
CPU积分计算方法
https://support.huaweicloud.cn/productdesc-ecs/ecs_01_0061.html
通用入门型(T6 规格与积分表)
https://support.huaweicloud.cn/productdesc-ecs/ecs_01_0024.html
实例类型(独享型与共享型)
https://support.huaweicloud.cn/productdesc-ecs/zh-cn_topic_0035470096.html
Linux云服务器CPU使用率高怎么办?
https://support.huaweicloud.cn/ecs_faq/ecs_faq_2601.html
Linux云服务器CPU使用率偶发冲高(atop)
https://support.huaweicloud.cn/trouble-ecs/ecs_trouble_0328.html
Linux云服务器卡顿怎么办?
https://support.huaweicloud.cn/ecs_faq/zh-cn_topic_0167429329.html
Windows云服务器CPU使用率高怎么办?
https://support.huaweicloud.cn/ecs_faq/ecs_faq_1601.html
Windows云服务器卡顿怎么办?
https://support.huaweicloud.cn/ecs_faq/zh-cn_topic_0167429328.html
深度诊断ECS
https://support.huaweicloud.cn/usermanual-ecs/ecs_03_2506.html
主机被挖矿攻击,怎么办?(HSS 常见问题)
https://support.huaweicloud.cn/hss2.0_faq/hss_01_0206.html
主机安全各版本功能(HSS 产品介绍)
https://support.huaweicloud.cn/productdesc-hss2.0/hss_01_0136.html
云服务器如何升配和降配,是否需要关机?
https://support.huaweicloud.cn/ecs_faq/ecs_faq_0606.html
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。