华为云云监控 CES 告警实战:指标采集、阈值设计与降噪的避坑指南

举报
欣然过了 发表于 2026/10/31 10:57:39 2026/10/31
【摘要】 梳理华为云云监控服务 CES 在云服务器上落地告警的完整思路:基础监控与 Agent 系统监控的区别、阈值与连续触发次数设计、磁盘挂载点覆盖、SMN 通知订阅确认、资源分组与降噪,以及告警处理手册和上线前检查清单。

前言

上了云之后,很多团队的监控是这样一种状态:控制台里建了几十条告警规则,手机上每天收到几十条通知,真正出问题的时候却被淹没在噪音里,或者干脆什么都没收到——因为关键指标根本没有被采集。云监控服务 CES 提供了从指标采集、告警规则到通知的一整套能力,但“能配”和“配得好”之间差了不少细节。本文按“指标从哪来、规则怎么写、通知怎么发、噪音怎么降、告警来了怎么处理”的顺序,整理一套在 ECS 等云资源上落地告警的思路。文中涉及的具体指标名称、阈值默认值、配额和可选项,请以华为云官方文档和控制台页面为准,这里给的是设计思路而不是固定参数。

一、先搞清楚指标是从哪来的

告警配不出来或者不准,第一类原因是“指标根本不存在”。以云服务器为例,监控大体分两类:

  • 基础监控:由平台在虚拟化层采集,不需要在服务器里装任何东西,例如 CPU 使用率、网络流入流出带宽、磁盘读写速率等。
  • 操作系统监控:需要在服务器内安装并运行云监控的 Agent(插件),才能采集到内存使用率、磁盘使用率、进程数、文件系统相关指标等“系统内部”视角的数据。

一个常见的坑是:想给“磁盘快满了”和“内存持续偏高”配告警,却发现在指标列表里找不到对应的指标——原因通常是 Agent 没装、没启动,或者装完之后因为权限、网络(Agent 需要能把数据上报到云监控的服务地址)出了问题。建议新建服务器时就把 Agent 安装纳入标准流程(例如放进镜像或初始化脚本),并在服务器列表里定期检查 Agent 状态,而不是等出事了才发现没数据。

另外,业务层面的指标(接口错误率、队列堆积、订单量)云监控的内置指标覆盖不到,可以考虑用自定义监控上报,或者使用应用侧的监控方案。云监控管基础设施,应用监控管业务,两边要互补,不要指望一个告警规则覆盖所有故障。

二、告警规则怎么写才不“狼来了”

一条告警规则大致由这几部分组成:监控对象(哪些资源)、触发条件(指标、统计周期、比较方式、阈值、连续多少次)、告警级别、通知对象和生效时间。下面几个参数决定了告警是“有用”还是“吵”。

1. 阈值要结合业务基线,不要照抄“CPU 超过 80% 就告警”

有的服务平时就跑在 70% 左右,有的批处理任务每天凌晨会拉满 CPU 半小时。照抄通用阈值要么天天误报,要么根本不报。比较稳妥的做法是:先观察一到两周的指标曲线,找到业务正常时的波动范围,再把阈值设在“明显偏离正常”的位置,并且区分日常时段和批处理时段。

2. 用“连续 N 次”过滤毛刺

瞬时的 CPU 尖刺、网络抖动不一定是故障。触发条件里的“连续触发次数”(有的版本里表现为连续多个统计周期)就是用来过滤毛刺的:例如统计周期 5 分钟、连续 3 次超过阈值才告警,意味着问题持续了十几分钟。周期和次数相乘,就是“从问题出现到收到告警”的大致延迟,这个延迟要和业务能接受的发现时间对得上:核心链路可以更敏感,离线任务可以更宽松。

3. 区分“趋势类”和“状态类”告警

  • 趋势类:磁盘使用率、内存使用率、连接数这类会慢慢涨的指标。适合设两档阈值,比如较低的一档给“提示或次要”级别,提前几天发现,较高的一档给“紧急”级别。
  • 状态类:服务器状态异常、进程不存在、端口不通这类“有或没有”的情况。要设得更敏感,因为一旦发生就是故障,不需要观察趋势。

4. 磁盘告警要看清楚是哪个挂载点

磁盘使用率是按挂载点(盘符)采集的。如果只给根分区配了规则,数据盘写满了你是收不到通知的;反过来,如果对所有挂载点一刀切,临时挂载的只读光盘或小容量系统分区又可能一直告警。配置前先列出每台机器上需要关注的挂载点,把它们都纳入监控范围。磁盘写满之后再扩容的流程,可以参考我之前写的云硬盘 EVS 扩容那篇文章,先快照再扩分区。

三、通知:告警发出去了,人收不收得到

云监控的告警通知依赖消息通知服务 SMN:先创建主题,再给主题添加订阅(邮件、短信、HTTP/HTTPS 回调等),最后在告警规则里选择这个主题。有几点容易被忽略:

  • 订阅需要确认:新添加的邮件、短信等订阅,通常要订阅人点击确认后才会生效。没确认的订阅,告警触发了也收不到。建议每建一个主题,都用测试功能或模拟一次告警,真实收一次通知。
  • 通知“触发”也通知“恢复”:规则里可以选择在告警触发和恢复正常时都发通知。恢复通知能让值班人员知道可以放心,不必一直盯着。
  • 生效时间:可以设定告警通知的生效时段,例如夜间只通知紧急级别、白天通知所有级别。但要想清楚:夜间不通知的规则,对核心业务来说是不是合理。
  • 按级别分主题:紧急告警走短信或电话类渠道、提示类走邮件或群机器人回调,这样人对每种通知的预期是清晰的。收到的短信越少,每一条被认真对待的概率就越高。

如果团队用企业微信、钉钉、飞书之类的群,可以通过 HTTP/HTTPS 订阅把告警推到自建的转发服务,再由转发服务转成群机器人需要的格式。这样做的时候要注意回调地址的安全:不要把能直接控制资源的接口暴露为无鉴权的回调地址,转发服务本身要做来源校验。

四、降噪:减少告警数量比增加规则更重要

  1. 用资源分组管理规则:不要给每台服务器各建一套规则。按“业务或环境”把资源放进分组,规则绑定到分组上,新增服务器加入分组就自动被覆盖,改阈值也只改一处。
  2. 开发测试环境和生产环境分开:测试机器经常重启、压测,告警本来就多,混在一起会让生产的重要告警被稀释。
  3. 定期清理长期无人处理的告警:如果一条规则触发了很久都没人理,要么阈值不合理,要么这件事根本不重要,应当调整或删除。告警的数量应该和团队的处理能力匹配。
  4. 变更窗口前先处理告警:计划内的维护、扩容、重启会触发一堆告警,提前通知相关人员,或在维护窗口内临时调整规则,事后再恢复,避免养成“告警都是误报”的习惯。

五、告警来了之后怎么处理:给告警配一份“处理手册”

告警只是起点,很多团队的问题出在“收到告警之后不知道该干嘛”。建议为每一类重要告警写一份简短的处理手册,放在团队的文档里,并在告警名称或描述里带上链接。一份最基本的手册包含:

  • 这条告警意味着什么:例如“数据盘使用率连续超过阈值”。
  • 先确认什么:登录服务器用 df -h 看各挂载点使用率,用 du 找出占用最大的目录;内存类告警可以用 free -m、top 或 ps 按内存排序查看。
  • 常见原因与处理动作:日志没有轮转、临时文件堆积、业务流量上涨、程序泄漏等,分别对应清理、扩容、限流、回滚。
  • 什么情况需要升级:处理多久没有恢复就找谁。

下面是排查磁盘告警时常用的几条命令,仅作示例:

df -h                                   # 各挂载点使用率
du -xh --max-depth=1 /var | sort -h | tail   # 找出 /var 下占用最大的目录
lsof +L1 | head                         # 已删除但仍被进程占用的文件(空间没释放的常见原因)

其中最后一条值得单独说一下:有时候删了大文件,df 显示空间却没有下降,是因为文件虽然被删除,但进程还持有它的文件句柄,需要重启或重新加载对应进程才会真正释放空间。这类细节写进处理手册,可以让后来的值班同学少走弯路。

六、上线前的检查清单

  • 所有云服务器已安装并运行 Agent,在控制台能看到内存、磁盘等系统内部指标。
  • CPU、内存、磁盘、网络、服务器状态等关键指标都有对应规则,磁盘覆盖所有需要关注的挂载点。
  • 阈值参考了业务基线,使用“连续多次”过滤毛刺,趋势类指标分档告警。
  • SMN 主题的订阅已确认,并实际收到过一次测试通知;触发和恢复都能通知。
  • 规则绑定在资源分组上,新增服务器能自动覆盖;测试环境和生产环境分开。
  • 重要告警都有处理手册,值班和升级路径明确。
  • 每季度回顾一次:哪些规则从没触发、哪些触发了没人理,据此调整。

结语

监控告警是一件“配好之后看不到价值,漏了就是事故”的基础工作。把指标采集覆盖全,把阈值和连续次数调到贴合业务,把通知渠道确认到真的能收到,再用分组和分级把噪音压下去,最后补上处理手册——这几步做完,告警才从“一堆会响的规则”变成值班的可靠依据。希望这篇文章能帮你少走一些弯路,也欢迎一起交流你们团队的告警实践。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。