华为云 ECS CPU 100%、负载高、卡顿?分层排查指南
华为云 ECS CPU 100%、负载高、卡顿?分层排查指南
「CPU 一直 100%」「负载很高但看不出是谁」「服务器莫名其妙变卡」是 ECS 上最常见的求助。很多人看到告警就直接升配或重启,结果过几天问题又回来了。CPU 高并不一定是业务跑满了:可能是监控口径不同造成的「假高」,可能是突发性能实例积分耗尽,可能是共享型实例在争抢宿主机 CPU,可能是磁盘 IO 堵住了,也可能是被植入了挖矿程序。本文对照华为云 ECS、CES、HSS 官方文档,把排查拆成几层,最后给出推荐顺序、速查表和常见坑。
一、先定层:这个「CPU 高」是哪一层的问题
动手前,我习惯先回答三个问题:数字是谁报的?实例是什么规格?OS 里能不能看到对应的进程?据此先归层:
| 层 | 关注点 | 一句话判断 |
|---|---|---|
| 监控口径 | 基础监控与 Agent 指标、采集周期 | 控制台高,OS 里却不高 |
| 实例规格 | T6 积分、共享型争抢、st | 业务量没变,突然变慢 |
| 进程定位 | top / pidstat / perf,单核瓶颈 | 有明确的高 CPU 进程 |
| IO 等待误判 | wa、D 状态进程、负载 | 负载高但 CPU 不忙 |
| 异常进程 | 挖矿、木马、HSS 告警 | 陌生进程、杀了又起 |
| Windows | 任务管理器、资源监视器、性能监视器 | Windows 实例 |
| 兜底 | 变更规格、换独享型、弹性伸缩 | 确认是真实负载不够用 |
二、第 0 层:先确认数字是谁报的
1. 基础监控和操作系统监控不是一回事
在云监控 CES 的「主机监控」里,ECS 有两类 CPU 指标:
- 基础监控:命名空间
SYS.ECS,指标cpu_util(CPU使用率)。由 ECS 自动上报,无需安装 Agent;官方说明该指标「从物理机层面采集」,数据准确性低于从云服务器内部采集的数据;KVM/QingTian 实例原始指标的监控周期为 5 分钟。 - 操作系统监控:需要在 ECS 内安装 CES Agent,指标前缀是「(Agent)」,例如
cpu_usage(CPU使用率)、cpu_usage_user(用户空间,对应 top 的 us)、cpu_usage_system(内核空间,对应 sy)、cpu_usage_iowait(iowait 占比,对应 wa)、cpu_usage_softirq(软中断,对应 si),监控周期为 1 分钟。
负载类指标要特别注意名字:load_average1/5/15 在官方定义里是「单核平均负载」,即 /proc/loadavg 的 load 值除以逻辑 CPU 个数;load_total_average1/5/15 才是整机平均负载,需要 Agent 2.8.2 及以上,目前只在部分区域上线(见 ces_faq_2513)。很多人把 4 核机器 load 为 4 的情况理解成「负载 4,很危险」,换成单核平均负载其实只有 1。
2. 两边对不上,常见的几种原因
- 基础监控接近 100%,OS 内不到一半:CES 常见问题给出的原因是 Guest OS 配置了
idle=poll(SAP HANA 场景内部是idle=mwait),空闲时 CPU 也不主动让出,物理机层面看起来就很忙。官方只用cat /proc/cmdline查idle=poll;查idle=mwait要联系技术支持(见ces_faq_0040)。 - Agent 的 cpu_usage 高,top 里却找不到高占用进程:官方说明
cpu_usage包含 iowait,进程在等磁盘时 top 里 %CPU 接近 0,但总使用率会被 wa 抬高。这种情况直接看第四层。 - 统计周期不同:CES 展示的是 1 分钟(或 5 分钟)平均值,top 默认约 3 秒刷新一次,短时尖峰两边对不上很正常。
- top 不高,基础监控却很高:ECS 的 FAQ 把这种情况列为「系统被入侵导致 top 结果不可信」,建议做病毒查杀,直接跳到第五层。
所以第一步不是登录服务器,而是先看清告警来自哪个指标。如果还没装 Agent,建议先装上,后面每一层都要用到 1 分钟粒度的分项数据。
三、第 1 层:实例规格——积分、共享和 st
1. 突发性能实例:积分用完就只剩基准性能
ECS 的 CPU 积分机制目前用于通用计算型 S6 和通用入门型 T6,不额外计费。区别是:S6 属于「不限制积分」的共享型实例,突发时间不受积分限制;T6 属于「限制积分」的共享型实例,实际计算性能长期高于基准性能时会持续消耗累积积分,累积积分为 0 时,实际计算性能无法超过基准性能。
官方文档里几个关键规则:
- 1 个 vCPU 按 100% 利用率运行 1 分钟,消耗 1 个积分。
- 实际 CPU 计算性能 = CPU 使用率 × vCPU 个数;低于基准时按差值每分钟累积积分,高于基准时消耗累积积分,优先消耗初始积分。
- 积分达到最大积分后停止累积,初始积分不计入上限。
- 以
t6.large.1(2 vCPU)为例:基准 CPU 计算性能 40%,即平均每个 vCPU 20%;每小时获得 24 个积分;创建时初始积分 60;最大积分 576。 - 关机的影响因计费模式而异:包年/包月关机后积分保留并继续累积;按需计费关机后积分保留但不再累积;竞价计费的关机规则和按需一样,保留积分但不再累积。
按文档公式推算一下:一台 t6.large.1 两个核都跑满,实际计算性能 200%,每分钟消耗 2 个积分、获得 0.4 个,净消耗 1.6 个;积分攒满 576 时,按公式约 6 小时(576÷1.6=360 分钟)。初始积分不计入上限,还剩 60 个初始积分时能多撑约 40 分钟。常见的情况是:开发测试期 CPU 很闲,积分一直是满的,上线后一次批处理或流量高峰持续跑满,几个小时后整机突然变慢,业务量却没变。
怎么确认:控制台实例列表「更多 > 查看积分指标」,或在 CES 里看 cpu_credit_usage(CPU积分使用量)和 cpu_credit_balance(CPU积分累积量)。这两项属于基础监控(SYS.ECS),不用装 Agent,官方标注「仅 T6 型支持」。支持表按虚拟化类型分:XEN 的 Windows 和 Linux 都不支持,KVM/QingTian 的 Windows 和 Linux 都支持;T6 是 KVM,所以 Windows T6 也能在控制台或 CES 看到这两项。依据见 https://support.huaweicloud.cn/usermanual-ecs/ecs_03_1002.html,T6 为 KVM 见 ecs_01_0024。积分余额一路下降到接近 0、同时业务变慢,基本就能定层。
2. 共享型实例:可能被「邻居」抢走 CPU
官方「实例类型」页面说明:独享型实例独享 CPU,实例间无 CPU 资源争抢;共享型实例多实例共享 CPU,实例间可能出现争抢,高负载时性能不稳定。共享型对应的规格就是「通用计算型」和「通用入门型」。ECS 卡顿 FAQ 也把「使用共享资源型实例」列为卡顿原因之一,建议对稳定性要求高的业务变更为独享型。
在 OS 里,这类问题通常体现在 top 第三行的 st。官方 FAQ 对它的解释是「虚拟化环境中被宿主机占用的CPU时间」。我习惯用下面的命令看每个核的 st:
top # 按 1 展开每个核,看 %st
mpstat -P ALL 1 5 # 需要 sysstat 包
其中 mpstat 属通用 Linux 知识,非华为云官方文档。st 持续偏高、业务又对延迟敏感时,在 OS 里优化进程意义不大,应该在规格层面解决。st 的「多高才算高」官方没有给统一阈值,结合业务表现判断即可。
四、第 2 层:进程定位(Linux)
规格和口径排除后,才轮到「到底是谁在吃 CPU」。官方 FAQ 的基本路径只用 top 加 vmstat;下面补上的 pidstat 和 perf 属通用 Linux 知识,非华为云官方文档。
top # 按 P 按 CPU 排序,按 1 看每核,记下 PID
ps -elf | grep <PID> # 看完整命令行
vmstat 1 5 # r 运行队列、b 阻塞进程、us/sy/wa/id
pidstat -u 1 5 # 按进程看 CPU,区分 %usr / %system
pidstat -t -p <PID> 1 5 # 进一步看是哪个线程
perf top -p <PID> # 看热点函数(需安装 perf)
几个判断要点(其中 pidstat、perf 属通用 Linux 知识,非华为云官方文档):
- us 高:应用自身计算多,结合 pidstat/perf 定位到线程和函数,Java 可以把线程 ID 转十六进制再对 jstack 输出。
- sy 高:系统调用或上下文切换频繁,用
pidstat -w看切换次数。 - 单核 100%、整体不高:单线程程序或网卡软中断集中在一个核上,si 偏高时检查网卡多队列。整机平均 25% 不代表没有瓶颈。
- kswapd0 持续高 CPU:官方说明这是内存不足导致频繁换页,应转向内存排查,而不是盯着 CPU。
如果是偶发冲高、登录上去时已经消失,官方建议安装 atop 记录历史,文档见 https://support.huaweicloud.cn/trouble-ecs/ecs_trouble_0328.html。另外,控制台的「深度诊断」(「更多 > 运维与监控 > 深度诊断」)仅支持 Linux,它依赖云运维中心 COC 和 UniAgent,需要开通授权;诊断项里有「总CPU占用率过高」(整体超过 80%)、「CPU使用率过高的进程」(单进程超过整机 50%)、「单个CPU占用率过高」(单核超过 85%)等结论,可以当作第二意见。
五、第 3 层:把 IO 等待误判成 CPU 高
这是最容易走弯路的一层。典型现象是:负载很高、业务很卡,CES 的 CPU 使用率也不低,但 top 里每个进程的 %CPU 都不高。
Linux 的 load 不只统计正在跑的进程,还会统计处于不可中断睡眠(D 状态)的进程,它们大多在等磁盘或网络存储——这一解释属通用 Linux 知识,非华为云官方文档。官方 FAQ(ecs_faq_2601)把「CPU 使用率低但负载很高」归因于大量 D 状态进程,对应 vmstat 的 b 列,并说明 D 状态进程无法被终止,只能恢复其依赖的资源或重启;官方给出的排查命令是 ps -elf | grep " D"。下面的 iostat、iotop 属通用 Linux 知识,非华为云官方文档:
ps -elf | grep " D" | grep -v grep # 找 D 状态进程(官方用法见 ecs_faq_2601)
iostat -x 1 5 # 看 await、%util
iotop -o # 谁在读写(需安装)
确认是 IO 问题后,方向就变成磁盘:云硬盘类型和性能上限够不够、有没有日志狂写、是不是在做大批量备份。此时升 CPU 规格基本没用。
六、第 4 层:挖矿等异常进程与 HSS 提示
几个值得警惕的信号:进程名伪装成系统进程或是一串随机字符、kill 掉几分钟后又出现、出现陌生的 crontab 或 systemd 服务、有到陌生地址的持续外连、top 不高但基础监控很高。
HSS 官方 FAQ「主机被挖矿攻击,怎么办?」的路径是:
- 在企业主机安全控制台进入「检测与响应 > 安全告警事件 > 主机安全告警 > 系统异常行为 > 进程异常行为」(含部分进程的隔离查杀),出现挖矿行为时会触发这类告警,可以点「处理」进行隔离查杀。
- 挖矿程序常通过自启动项驻留,到「资产管理 > 主机指纹 > 自启动项」查看「历史变动记录」,清除可疑项。
- 清除后做安全加固:所有账号改强口令或改用密钥登录,严格控制管理员账户,用安全组只开放必要端口,远程登录端口限制来源 IP。
上述「进程异常行为」和「自启动项」能力,基础版和专业版都不支持,企业版、旗舰版、网页防篡改版、容器版支持。基础版和专业版改为手动检查 crontab -l、/etc/cron.*、systemctl list-unit-files、~/.ssh/authorized_keys。专业版虽然支持挖矿软件检测与隔离查杀,但走的不是这条路径;隔离查杀也只覆盖部分异常进程。依据见 https://support.huaweicloud.cn/productdesc-hss2.0/hss_01_0136.html,路径见 https://support.huaweicloud.cn/hss2.0_faq/hss_01_0206.html。没有开通 HSS 时,同样按上面的手动检查项排查。只 kill 进程不处理入口和驻留,几乎一定会复发;被入侵过的机器,常见做法是备份数据后用干净镜像重建。
七、Windows 实例怎么查
Windows 的思路一样,只是换工具:
- 资源监视器:运行
perfmon -res,在「CPU」页签看高占用进程,可以通过句柄和模块反查进程。 - 任务管理器:运行
taskmgr,在「详细信息」按 PID 找到进程,右键「打开文件所在的位置」判断是否为恶意程序;「性能」页签可以把 CPU 图切换为逻辑处理器,看单核情况。 - 性能监视器:添加
\Processor(_Total)\% Processor Time、% User Time、% Privileged Time。官方 FAQ 提到,Privileged Time 超过 30% 说明在进行高 I/O 吞吐相关操作,需要继续看% DPC Time、% Interrupt Time和Context Switches/sec。
正常进程方面,官方建议检查后台是否在跑 Windows Update、杀毒软件是否在扫描;还可以用 fltmc 查看文件系统过滤驱动,对不明来源驱动查看数字签名。
八、第 5 层:确认是真实负载后再扩容
前面几层都排除,确认就是业务量超过了实例能力,才轮到花钱:
- 变更规格:官方说明变更规格过程中 ECS 需要关机,建议选业务空闲时间。「按需立即生效」指的是计费立即按新规格算,变更过程仍要关机。T6 积分长期不够用、或共享型 st 偏高时,换成独享型规格往往比在同系列里升一档更有效。
- 弹性伸缩 AS:业务有明显波峰波谷、且应用能横向扩展时,用 AS 按 CPU 指标扩缩容。如果是 Agent 指标触发,要先确认组内实例都装了 Agent。
- 告警前移:在 CES 里给
cpu_usage、load_average5设告警,T6 实例再加一条cpu_credit_balance低于某值的告警,比等到 CPU 100% 再处理主动得多。阈值按业务自己定。
九、推荐排查顺序
- 看告警来自
cpu_util还是 Agent 的cpu_usage,没装 Agent 先装。 - 看实例规格:是不是 T6/S6 等共享型;T6 看积分余额。
- 登录后
top按 1,看 us/sy/wa/st 哪一项高。 - st 高回到第 1 层;wa 高或 D 状态多走第 3 层。
- us/sy 高用
pidstat、perf定位到进程和线程。 - 陌生进程、杀了又起、top 与基础监控对不上,走第 4 层并看 HSS 告警。
- 确认是真实业务负载,再变更规格或用弹性伸缩。
十、速查表
| 现象 | 优先怀疑 | 先看哪里 |
|---|---|---|
| 基础监控近 100%,OS 内不高 | idle=poll 等口径问题 |
/proc/cmdline、Agent 指标 |
| Agent CPU 高,top 找不到进程 | iowait 计入 | cpu_usage_iowait、top 的 wa |
| T6 用着用着变慢 | 积分耗尽 | cpu_credit_balance |
| 共享型偶发卡顿 | 宿主机争抢 | top 的 st、实例类型 |
| 单进程高 | 业务代码或死循环 | pidstat -t、perf top |
| 整体不高但有核 100% | 单线程或软中断集中 | top 按 1、si |
| kswapd0 高 | 内存不足 | free -m、内存指标 |
| 负载高、CPU 不高 | D 状态进程 | vmstat 的 b、iostat -x |
| 陌生进程杀了又起 | 挖矿或木马 | HSS 告警、自启动项 |
| top 低、基础监控高 | top 不可信(入侵) | 病毒查杀 |
| Windows 特权时间高 | 驱动、中断、高 IO | 性能监视器 DPC/中断 |
十一、常见坑
- 把单核平均负载当整机负载:
load_average1已经除过核数,阈值不能照搬 top 里的 load。 - 只看 5 分钟粒度:基础监控 5 分钟取一个点,短时尖峰会被抹平,排查时用 Agent 的 1 分钟数据。
- T6 测试时一切正常:测试期积分是满的,压测时间不够长,看不出积分耗尽后的真实性能。
- IO 问题升 CPU:wa 高时升配 CPU 往往没效果,钱花了还不解决问题。
- 只 kill 挖矿进程:不清理自启动项、不改口令、不收紧安全组,会反复被种回来。
十二、官方参考
弹性云服务器支持的基础监控指标
https://support.huaweicloud.cn/usermanual-ecs/ecs_03_1002.html
Agent支持的指标列表(CES 常见问题)
https://support.huaweicloud.cn/ces_faq/ces_faq_2513.html
基础监控与操作系统监控数据出现不一致的问题(CES 常见问题)
https://support.huaweicloud.cn/ces_faq/ces_faq_0040.html
CPU积分计算方法
https://support.huaweicloud.cn/productdesc-ecs/ecs_01_0061.html
通用入门型(T6 规格与积分表)
https://support.huaweicloud.cn/productdesc-ecs/ecs_01_0024.html
实例类型(独享型与共享型)
https://support.huaweicloud.cn/productdesc-ecs/zh-cn_topic_0035470096.html
Linux云服务器CPU使用率高怎么办?
https://support.huaweicloud.cn/ecs_faq/ecs_faq_2601.html
Linux云服务器CPU使用率偶发冲高(atop)
https://support.huaweicloud.cn/trouble-ecs/ecs_trouble_0328.html
Linux云服务器卡顿怎么办?
https://support.huaweicloud.cn/ecs_faq/zh-cn_topic_0167429329.html
Windows云服务器CPU使用率高怎么办?
https://support.huaweicloud.cn/ecs_faq/ecs_faq_1601.html
Windows云服务器卡顿怎么办?
https://support.huaweicloud.cn/ecs_faq/zh-cn_topic_0167429328.html
深度诊断ECS
https://support.huaweicloud.cn/usermanual-ecs/ecs_03_2506.html
主机被挖矿攻击,怎么办?(HSS 常见问题)
https://support.huaweicloud.cn/hss2.0_faq/hss_01_0206.html
主机安全各版本功能(HSS 产品介绍)
https://support.huaweicloud.cn/productdesc-hss2.0/hss_01_0136.html
云服务器如何升配和降配,是否需要关机?
https://support.huaweicloud.cn/ecs_faq/ecs_faq_0606.html
- 点赞
- 收藏
- 关注作者
评论(0)