云监控自定义告警上线前的核对清单:指标、周期和通知人
把一台云主机交给云监控之后,最常见的翻车不是“没开监控”,而是告警条件、统计周期和通知人三处各写各的。下面是我在华为云上给业务组接 CES 告警时固定走的核对顺序。
1. 先确认监控的是哪一个资源。同一台 ECS 可能同时出现在云服务器基础监控和操作系统监控(Agent)两套指标里。CPU、内存、磁盘如果来自 Agent,插件没装或没在线时曲线是空的,告警会一直处于数据不足,而不是正常。上线前先打开该实例最近 15 分钟的监控视图,确认有点,再创建规则。
2. 周期要和故障的时间尺度一致。统计周期 1 分钟、连续 1 个周期就通知,适合发现进程卡死;5 分钟连续 3 个周期,更适合容量趋势。不要用 1 分钟周期去盯磁盘使用率,一次日志切割就会误报。内存和磁盘建议连续 3 个周期,CPU 可以连续 2 个周期,并打开恢复通知。
3. 把阈值写成能读出来的句子。例如:当 Agent 磁盘使用率的 5 分钟平均值连续 3 次超过 85% 时,通知值班主。题。读不通顺的规则,多半是指标和聚合方式不匹配,把最大值套到连接数上,毛刺会把告警打满。
4. 通知人不要只留创建者。创建告警的人关闭短信或离开项目后,规则还在跑但没人收到。通知对象改成 SMN 主题,主题里放值班群和备用邮箱。改完发一条测试消息,正文写明是演练,确认能到群,再把阈值改回正式值。
5. 上线后先观察一天。新规则第一天只进观察群,不进电话升级。一天内如果抖动超过两次,就加长连续周期,而不是把阈值抬到 99%。告警要可行动,而不是把曲线上每个尖峰都变成工单。
按资源是否有数据、周期、可读阈值、通知主题、观察一天这五步走完,再把规则交给值班表。这样自定义告警才是值班工具,而不是新的噪音源。
- 点赞
- 收藏
- 关注作者
评论(0)