Prometheus 告警时好时坏:先查 rate 窗口与 counter 重置
现象
线上有一条 QPS 告警很奇怪:大多数时候是绿的,但每隔十几分钟就会闪一次红,持续一两分钟后自己恢复。打开 Grafana 面板,那段时间的曲线不是掉到 0,而是一段空白。
第一反应是"目标实例挂了"。但 Prometheus 的 up 指标一直为 1,Targets 页面也没有 down 记录。问题于是落到查询表达式本身。
第一个坑:rate 的窗口比抓取间隔小不了多少
rate 是外推,不是插值。它假设窗口内数据均匀分布,再把窗口内的增量折算成每秒速率。
如果 rate 的窗口是 1m,而抓取间隔是 15s,一个窗口里只有 4 个样本。Prometheus 要求窗口内至少有两个样本才会输出结果;一旦因为抓取延迟或补采导致窗口里只剩一个样本,rate 直接返回空,表达式结果就是空值而不是 0。
排查方法很直接,先确认抓取间隔,再在查询页面对比更大窗口下的取值:
scrape_interval: 15s
# 经常是空
rate(http_requests_total[1m])
# 通常稳定有值
rate(http_requests_total[5m])
如果 1m 经常空、5m 稳定,那问题就在窗口太短,而不是业务真的没有流量。
第二个坑:counter 重置被当成负增长
进程重启或扩容后,counter 会从 0 重新开始。Prometheus 能识别这种情况,会在计算 rate 时把重置点当作一次巨大增量补偿进去。
但补偿依赖窗口内同时存在重置前和重置后的样本。如果重置恰好落在窗口边缘,比如进程在 15:30:05 重启,而查询窗口是 15:29:10 到 15:30:10,窗口内只抓到重启后的样本,那就无从补偿,重置会被解释成一次巨大的负增量,结果同样是空值。
对累加类告警,用 increase 代替 rate 再除以窗口秒数,可以绕开大部分边界问题:
increase(http_requests_total[5m]) / 300
怎么确认到底是哪个原因
第一步,看查询返回的是空值还是 0。用 Prometheus 的 Graph 页面直接查原表达式,如果面板上是断线而不是贴地的 0,基本可以确定是窗口内样本不足。
第二步,用 increase、sum_over_time 这类对样本数量要求更宽松的函数做交叉验证。如果 increase 有值而 rate 为空,就是窗口问题。
第三步,对照 Targets 页面看是否有抓取失败或抓取延迟。抓取延迟升高会让样本在时间轴上变得稀疏,是窗口不足最常见的上游原因。
修复与预防
- rate 的窗口至少是抓取间隔的四倍以上。抓取 15s 就用 1m 或 5m,不要用 15s、30s 这种贴脸配置。
- 告警表达式尽量避免直接对短窗口 rate 做阈值判断,改成 increase 加阈值,或者用长窗口 rate 判断、短窗口只做展示。
- 把采集链路本身纳入监控:scrape_duration_seconds 和 up 一起看,抓取耗时接近抓取间隔时就要警惕。
- 抓取间隔抖动大的场景,比如多实例滚动抓取,把窗口再放大一档。
一点补充
上面提到的参数在配置文件中都写作 scrape_interval、increase 这类形式,不带单位后缀,实际部署时按监控系统的标准写法填写即可。
排查清单
- 面板是空白还是 0:空白优先怀疑窗口内样本不足。
- 1m 空、5m 有值:加长 rate 窗口。
- 重启后立刻出现空值:改用 increase 规避重置边界。
- 抓取耗时逼近抓取间隔:先修采集端,再谈表达式。
- 点赞
- 收藏
- 关注作者
评论(0)