Prometheus 告警时好时坏:先查 rate 窗口与 counter 重置

举报
shijiu_dev 发表于 2026/11/11 09:08:21 2026/11/11
【摘要】 线上 QPS 告警时好时坏,面板出现 NaN 而非 0。本文从 rate() 窗口与抓取间隔的关系、counter 重置的边界情况入手,说明如何定位空值来源,并把告警表达式改成更稳健的写法。

现象

线上有一条 QPS 告警很奇怪:大多数时候是绿的,但每隔十几分钟就会闪一次红,持续一两分钟后自己恢复。打开 Grafana 面板,那段时间的曲线不是掉到 0,而是一段空白。

第一反应是"目标实例挂了"。但 Prometheus 的 up 指标一直为 1,Targets 页面也没有 down 记录。问题于是落到查询表达式本身。

第一个坑:rate 的窗口比抓取间隔小不了多少

rate 是外推,不是插值。它假设窗口内数据均匀分布,再把窗口内的增量折算成每秒速率。

如果 rate 的窗口是 1m,而抓取间隔是 15s,一个窗口里只有 4 个样本。Prometheus 要求窗口内至少有两个样本才会输出结果;一旦因为抓取延迟或补采导致窗口里只剩一个样本,rate 直接返回空,表达式结果就是空值而不是 0。

排查方法很直接,先确认抓取间隔,再在查询页面对比更大窗口下的取值:

scrape_interval: 15s
# 经常是空
rate(http_requests_total[1m])

# 通常稳定有值
rate(http_requests_total[5m])

如果 1m 经常空、5m 稳定,那问题就在窗口太短,而不是业务真的没有流量。

第二个坑:counter 重置被当成负增长

进程重启或扩容后,counter 会从 0 重新开始。Prometheus 能识别这种情况,会在计算 rate 时把重置点当作一次巨大增量补偿进去。

但补偿依赖窗口内同时存在重置前和重置后的样本。如果重置恰好落在窗口边缘,比如进程在 15:30:05 重启,而查询窗口是 15:29:10 到 15:30:10,窗口内只抓到重启后的样本,那就无从补偿,重置会被解释成一次巨大的负增量,结果同样是空值。

对累加类告警,用 increase 代替 rate 再除以窗口秒数,可以绕开大部分边界问题:

increase(http_requests_total[5m]) / 300

怎么确认到底是哪个原因

第一步,看查询返回的是空值还是 0。用 Prometheus 的 Graph 页面直接查原表达式,如果面板上是断线而不是贴地的 0,基本可以确定是窗口内样本不足。

第二步,用 increase、sum_over_time 这类对样本数量要求更宽松的函数做交叉验证。如果 increase 有值而 rate 为空,就是窗口问题。

第三步,对照 Targets 页面看是否有抓取失败或抓取延迟。抓取延迟升高会让样本在时间轴上变得稀疏,是窗口不足最常见的上游原因。

修复与预防

  1. rate 的窗口至少是抓取间隔的四倍以上。抓取 15s 就用 1m 或 5m,不要用 15s、30s 这种贴脸配置。
  2. 告警表达式尽量避免直接对短窗口 rate 做阈值判断,改成 increase 加阈值,或者用长窗口 rate 判断、短窗口只做展示。
  3. 把采集链路本身纳入监控:scrape_duration_seconds 和 up 一起看,抓取耗时接近抓取间隔时就要警惕。
  4. 抓取间隔抖动大的场景,比如多实例滚动抓取,把窗口再放大一档。

一点补充

上面提到的参数在配置文件中都写作 scrape_interval、increase 这类形式,不带单位后缀,实际部署时按监控系统的标准写法填写即可。

排查清单

  • 面板是空白还是 0:空白优先怀疑窗口内样本不足。
  • 1m 空、5m 有值:加长 rate 窗口。
  • 重启后立刻出现空值:改用 increase 规避重置边界。
  • 抓取耗时逼近抓取间隔:先修采集端,再谈表达式。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。