告警一响就手忙脚乱?聊聊华为云 CES 的指标、告警和事件排查思路
凌晨三点,手机被一条告警吵醒:某台云服务器 CPU 使用率超过了阈值。你揉着眼睛登录控制台,指标已经回落,业务也没有报错——这到底是真故障,还是一次误报?很多团队第一次用云监控服务(CES)都会遇到类似问题:指标配了一堆,告警也开了不少,可真出问题时,要么收不到,要么被无关告警淹没。本文不讲晦涩的概念,只讲一套可以直接落地的思路:先看什么指标、再怎么设告警、最后收到告警后按什么顺序排查。
一、先把指标分成三类,不要眉毛胡子一把抓
云上资源的指标很多,但对日常运维真正有用的,可以先分成三类。第一类是资源饱和类,比如 CPU 使用率、内存使用率、磁盘使用率、磁盘剩余空间。这类指标的特点是变化相对缓慢,一旦持续走高,往往意味着容量要到瓶颈了,适合提前预警,而不是等到服务挂掉才发现。第二类是业务表现类,比如请求量、请求成功率、平均响应时间、错误率。这类指标直接对应用户体验,哪怕机器本身看起来还健康,只要成功率掉了或者延迟涨了,就说明业务已经受影响。第三类是依赖与事件类,比如实例状态变化、磁盘挂载异常、网络丢包、服务重启等。这类信号出现频率低,但一旦出现,往往就是根因所在,适合单独建一条高优先级的告警。
把指标分类的好处是,告警策略可以按类别分别设计。资源类告警可以容忍短暂抖动,业务类告警要更敏感,事件类告警则要第一时间通知到人。不要把所有指标都设成同一个阈值、同一个通知人,否则告警很快就会失去可信度。
二、告警阈值怎么设,才不会天天误报
误报最常见的原因,不是阈值设错了一个数字,而是只看瞬时值。云上负载本来就有波动:定时任务一跑、批量导入一做,CPU 瞬间冲高几分钟很正常。如果把阈值设成单点超过就告警,这类正常波动就会变成深夜电话。更稳妥的做法,是看持续时间和统计方式:比如 CPU 使用率在连续几个采集周期内都高于阈值才触发,或者用一段时间内的平均值来判断。持续时间越短,告警越灵敏,但误报也越多;持续时间越长,误报越少,但发现问题也越晚。对核心业务,可以设两档:宽松档提前提醒,严格档立即处理。
阈值本身也没有放之四海而皆准的数字。同样是 CPU 使用率,批处理节点跑到 90% 可能完全正常,而在线接口节点长期高于 70% 就值得关注。建议的做法是,先观察一到两周的正常基线,再在基线之上留出合理余量来设阈值,并且定期复盘:哪些告警从未触发过,是不是阈值太松;哪些告警频繁触发却从未真正处理过,是不是阈值太紧,或者根本不该告警。
三、通知分级:不是所有告警都值得半夜叫醒人
告警分级是减少告警疲劳最有效的一招。可以按影响面分三级:影响用户、需要立即处理的高优先级;影响有限、可以在工作时间处理的中优先级;只是提醒、用于趋势观察的低优先级。不同级别走不同的通知渠道和响应时限,高优先级才触发电话或短信,中优先级走群消息,低优先级只记录在告警列表里。
同时要给告警定一个负责人和处理时限。没有负责人的告警,最后都会变成没人管的告警。值班表、交接记录、常见告警的处理手册,这三样东西和阈值本身一样重要。新人值班时,看到一条告警,能在手册里找到对应的排查步骤,就比在群里到处问人要可靠得多。
四、收到告警后,按这个顺序排查
第一步,先确认影响面:是单台实例,还是整个服务?看业务指标是否同步变差,判断这是局部问题还是全局问题。第二步,看时间线:告警前后有没有发布、配置变更、流量突增或者上游依赖异常?很多故障的根因并不在告警的那个指标上,而在变更记录里。第三步,看资源和依赖:CPU、内存、磁盘、网络这几项有没有同步异常?数据库连接数、队列积压、第三方接口延迟有没有变化?第四步,再深入到应用日志和调用链,定位到具体的接口、任务或者实例。
这个顺序的好处是先收窄范围,再深入细节,避免一上来就钻进某个日志细节里出不来。排查过程中,顺手把结论记下来:触发原因、处理动作、是否需要调整阈值。几次下来,团队自己的告警手册就有了。
五、几个容易踩的坑
第一个坑是指标只看平均值。平均值会掩盖尖峰和长尾,比如平均延迟正常,但个别请求已经超时很久。关键接口除了平均值,最好同时关注最大值或者高百分位延迟。第二个坑是磁盘只看使用率,不看剩余空间和增长趋势。一块盘从 70% 涨到 95% 可能只需要一次批量导入,提前按趋势预警比等到 95% 才告警要从容得多。第三个坑是告警规则建完就不再维护。业务上线新接口、扩容、换架构之后,旧的告警规则可能已经覆盖不到新资源,或者还在监控已经下线的资源,定期清理和补充很有必要。
最后总结一下:云监控的价值不在于指标越多越好,而在于关键信号不漏、次要信号不扰。先把指标按资源、业务、事件分类,再用持续时间和基线来设阈值,接着按影响面分级通知,最后形成固定的排查顺序和复盘习惯。这样,半夜的告警电话会越来越少,而真正需要处理的问题,反而会更早被发现。
- 点赞
- 收藏
- 关注作者
评论(0)