ECS 磁盘使用率超 85% 才发现?用 CES 云监控配三级告警+短信通知的实战做法

举报
yd_239575663 发表于 2026/11/06 17:34:55 2026/11/06
【摘要】 ECS 磁盘被日志写满导致接口超时,复盘后用云监控 CES 配了三级磁盘使用率告警:70% 提醒、85% 重要、95% 紧急,全部联动短信通知,并记录了验证方法和收到告警后的排查顺序。

上周一台跑了小半年的 ECS 差点出事:早上业务方说接口超时,登录一看根分区只剩 2%,日志把磁盘写满了,应用连临时文件都写不进去。事后复盘,问题不在磁盘太小,而是没有任何人会在磁盘满之前收到提醒。本文把后来落地的告警方案完整记录下来:用云监控 CES 给 ECS 磁盘使用率配三级告警,70% 提醒、85% 重要、95% 紧急,全部联动短信通知。

一、先确认监控数据能采到
磁盘使用率属于主机监控指标,需要 ECS 上装好云监控插件。控制台进入云监控 CES,选主机监控,看目标 ECS 的磁盘使用率曲线有没有数据。如果没有,先在 ECS 上安装插件,等几分钟再看曲线。没有数据就直接配告警,规则永远不会触发,这是最常见的坑。

二、创建 SMN 主题并订阅短信
告警要发短信,先得有个消息通知 SMN 主题。控制台进入消息通知 SMN,创建一个主题,添加订阅,协议选短信,填负责运维的手机号,收到确认短信后点击确认。建议再加一个邮箱订阅做备份,短信偶尔延迟时邮箱还能兜底。

三、创建三级告警规则
控制台进入云监控 CES,选告警管理、告警规则、新建规则。资源类型选弹性云服务器,监控对象选要盯的 ECS,监控指标选磁盘使用率。
第一条,提醒级别:磁盘使用率大于等于 70%,连续 3 个周期,告警级别选提醒。
第二条,重要级别:磁盘使用率大于等于 85%,连续 2 个周期,告警级别选重要。
第三条,紧急级别:磁盘使用率大于等于 95%,连续 1 个周期,告警级别选紧急。
三条规则的通知对象都选第二步建好的 SMN 主题,通知方式勾选短信和邮件。周期默认 5 分钟,连续周期越少触发越快,但也越容易误报,磁盘这个指标变化慢,上面这个搭配比较稳。规则建好后不要只看状态为已启用,还要点进规则详情确认监控对象和通知主题都没选错。

四、验证告警真的能收到
只配不测等于没配。验证办法:在测试机上用 fallocate 快速生成一个临时大文件把磁盘使用率顶上去,等一个监控周期后看手机是否收到短信,收到后立即删除临时文件。
fallocate -l 2G /tmp/alarm-test.bin
df -h
rm -f /tmp/alarm-test.bin
注意不要在生产机上做这个验证,也不要用 dd 写零文件,速度慢还伤盘。验证完成后在 CES 的告警历史里确认这条告警的触发、恢复时间都正常。

五、收到告警后先查什么
70% 提醒:先看是什么在涨,用 du 命令定位大目录。
du -sh /var/log/* 2>/dev/null | sort -rh | head -10
85% 重要:先扩容或清理,再查根因。日志失控增长多数是某个服务打了过多调试日志,或者定时任务的输出没有轮转。
95% 紧急:先保业务,立刻清理或扩容云硬盘,再慢慢查原因。这个级别不要只发短信,建议同时让值班电话保持畅通。

六、容易踩的几个坑
只给根分区配告警,数据盘没配。磁盘使用率是按挂载点算的,根分区和数据盘要分别建规则。
监控插件掉了没人知道。每月巡检一次主机监控的在线状态,插件异常时指标会断线。
阈值照抄不结合实际。日志型业务磁盘涨得快,70% 的提醒线可以再放低一点;数据库服务器则建议把 85% 的线提前到 80%。
只通知一个人。负责人休假告警就没人看,SMN 主题里至少放两个接收人。

这套做法成本很低:CES 告警规则本身不收费,短信按条计费,一个月下来几乎可以忽略。关键是把被动救火变成提前提醒,磁盘满这种故障本就不该在凌晨两点才被发现。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。