消费组又重平衡了,消息积压了四十万
9点12分,告警群弹出一条:订单 Topic 的消费组 lag 突破 40 万。
我第一反应是流量涨了。促销没开始,订单量曲线是平的,消费速度却从每秒 3000 掉到 400。
第一次误判:加消费者
按老经验,消费不过来就扩容。我把消费者从 4 个加到 12 个。
三分钟后 lag 从 40 万涨到 47 万。
这不对劲。加人反而更慢,说明问题不在算力,在协调。
真因藏在 rebalance 日志里
翻消费者日志,看到这样的行每隔两分钟出现一次:
[Consumer clientId=order-c-3] Attempt to join group order-group
[Consumer clientId=order-c-7] Revoking previously assigned partitions
[Consumer clientId=order-c-7] Revoke complete
不是处理慢,是消费组一直在重平衡。12 个实例,每两分钟全体重新分一次区。重新分配期间谁都不消费,lag 自然往上堆。
为什么会一直 rebalance
查下来是三个问题叠在一起。
第一,poll 间隔超了。 max.poll.interval.ms 用的默认 5 分钟,但代码里一次拉 500 条,每条平均 800 毫秒,一批要跑 400 秒。偶尔遇到几条慢消息就过 300 秒, broker 判定这个消费者"死了",把它踢出组。
第二,位点自动提交。 enable.auto.commit=true,位点在处理之前就提交了。被踢之后重新分配,已经处理过的消息不会重放,没处理完的却被当成处理过了。我们靠下游唯一键兜住了重复,但遗漏是真的存在。
第三,扩容自己也在加重问题。 每加一个实例就触发一次全量 rebalance,12 个实例轮着被踢,形成正反馈——越慢越踢,越踢越慢。
修复:让消费者别再互相打断
改动分四块。
降批次。 max.poll.records 从 500 降到 100,一批最慢 80 秒,稳稳落在 5 分钟内。
改手动提交。 关掉自动提交,一批全部处理成功后 commitSync,失败就不提交,让下一轮重放。配合下游幂等键,重放是安全的。
静态成员。 给每个实例配 group.instance.id,实例重启后在 session 超时内回来还是原来的分区,不会触发全组重平衡。
协作式分区分配。 从 RangeAssignor 换成 CooperativeStickyAssignor,扩容时只迁移必要的分区,不再全量撤销。
另外把 session.timeout.ms 调到 45 秒(原来是 10 秒,网络抖一下就被踢),max.poll.interval.ms 调到 15 分钟留余量。停机时主动发 LeaveGroup,别等超时。
监控也要改
以前只盯 lag 绝对值,等到 40 万才发现。事后加了两条更快的信号:
- 一小时内 rebalance 次数超过 3 次就告警;
- lag 的上升速率超过阈值就告警,不等绝对值。
这两条比 lag 本身早了大约 20 分钟。
结论
消费积压不等于算力不够。加消费者之前先看一眼 rebalance 次数——如果组一直在重新分配,加得越多,死得越快。
有些性能问题,本质是协调问题。
- 点赞
- 收藏
- 关注作者
评论(0)