云监控告警分级:从阈值轰炸到少而准的告警
告警太多和告警太少一样危险。太多,值班的人会慢慢对告警麻木,真正出事的那条就淹没在几百条消息里;太少,等用户先发现问题,监控就失去了意义。告警分级的目标不是把告警关掉,而是让每一条发出来的告警都值得半夜被叫醒,或者至少值得第二天早上第一时间处理。
一、先分级,再定阈值
建议只保留三级。P0 是业务已受损:核心接口错误率飙升、订单写入失败、服务完全不可用,这类告警必须立即电话或短信通知值班人,并且要有明确的止损动作。P1 是业务有风险:某个可用区延迟升高、队列积压持续增长、磁盘使用率逼近上限,这类告警可以先发消息通知,但要在一个工作时段内处理,不能拖到下周。P2 是趋势提醒:容量按周增长、慢查询数量缓慢上升、证书还有 30 天到期,这类告警只进工单或日报,不打扰值班人。分级定下来后,阈值才有意义:同一指标在不同级别上用不同的阈值和持续时间,P0 要快而准,P2 可以慢而宽。
二、阈值不要只写一个固定数字
固定阈值最容易误报。业务有波峰波谷,凌晨 3 点的正常流量和中午 12 点的正常流量根本不是一个量级。做法有三种。第一是按时段分阈值,工作日白天和夜间用不同的上限。第二是用基线加偏离度,比如过去四周同一时段的均值加三倍标准差,超出基线才告警。第三是看持续时间而不是瞬时值,CPU 冲到 90% 一次不告警,连续 5 分钟都在 85% 以上再告警。三种做法可以叠加,核心是让告警反映“持续异常”,而不是“某一秒的抖动”。
三、聚合与抑制,解决告警风暴
一次故障常常同时触发几十条告警:数据库主库挂了,应用、缓存、队列、前端的告警会一起炸出来。没有聚合,值班人第一眼看到的是几十条消息,而不是一个根因。聚合的做法是按服务和依赖关系分组,同一故障域的告警合并成一条,并把根因告警排在最前面。抑制的做法是分层:底层故障已告警时,依赖它的上层告警自动抑制,只在底层恢复后仍未恢复时再放出来。另外,变更期间的告警要单独处理:发布窗口内已知会抖动的指标,先静默再观察,而不是让发布本身变成一次告警风暴。
四、值班与复盘,告警分级才能越做越好
每一条 P0 告警事后都要回答三个问题:这条告警是不是必须半夜处理?能不能提前发现?下次同类问题能不能自动恢复?如果一条告警连续三次都不需要立即处理,就降级;如果一条告警每次都等到用户反馈才发现,就升级并补监控点。每月做一次告警复盘,统计各级别的数量、误报率和平均响应时间,把长期不处理、长期误报的规则清理掉。告警规则和代码一样需要维护,没人维护的规则迟早会变成噪音。
五、一份最小可用的检查清单
每条告警都有级别和负责人;P0 有明确的止损动作和通知渠道;阈值按时段或基线调整,不只用固定数字;同一故障域的告警已聚合,上层告警可被抑制;每月复盘一次,降级无用告警、补齐漏报监控。五项全过,告警系统才算从“能响”变成了“有用”。
告警的价值不在响得多,而在响得准。分级、基线、聚合、复盘四步做下来,值班人晚上能睡个好觉,真正出事时也不会错过那条关键告警。
- 点赞
- 收藏
- 关注作者
评论(0)