从一次 502 说起:ELB 健康检查、后端连接池与超时的排查手记

举报
yd_46858814 发表于 2026/11/03 09:26:49 2026/11/03
【摘要】 一次间歇 502 的排查手记:ELB 健康检查误摘节点、HikariCP 连接池排队与三层超时不对齐叠加所致,附探活分离、连接池统计与超时对齐的排查清单。

现象:不是全挂,是间歇 502

上午 10:02 到 10:17,业务接口间歇返回 502,约每 3 分钟出现一波,持续 30 秒左右又自己恢复。两台 ECS 的 CPU 都不到 40%,内存也没有告警,第一反应很容易以为是网络抖动。但 ELB 的访问日志里有一个关键信号:502 请求的上游耗时是 -,说明请求根本没有到达后端业务逻辑,或者后端在 ELB 等待期间就断开了。

先分三条线,不要一上来就重启

1. ELB 健康检查:它在检查什么,决定了它会摘掉谁

当时健康检查配置是:HTTP GET /healthz,间隔 5 秒,超时 3 秒,连续 3 次失败摘除。问题出在 /healthz 的实现上:它除了返回进程存活,还顺带做了一次数据库 SELECT 1。数据库一慢,健康检查就超时,ELB 就会认为这台 ECS 不健康并摘除它。摘除后流量全部压到另一台,另一台更慢,于是轮流被摘除,表现为间歇 502。

修复办法是把探活和就绪分开:/healthz/live 只返回进程存活,不查库、不查缓存、不调下游,ELB 健康检查只用它;/healthz/ready 查库和关键依赖,供发布、灰度时判断是否可以接流量。

2. 后端连接池:排队比报错更先出现

服务是 Spring Boot + HikariCP,数据库连接池原来是 maximum-pool-size=20,connection-timeout=30000。出问题时应用日志里看到的不是直接连接失败,而是 Pool stats (total=20, active=20, idle=0, waiting=47):20 个连接全被占满,47 个线程在排队等连接。等 30 秒超时后请求才失败,ELB 一侧看到的就是超时和 502。

这里有两个坑。第一,连接池打满时,慢的不是数据库本身,而是某几条未加索引的查询把连接占住不放,池子被长查询拖垮。第二,connection-timeout 设得太长会把排队时间放大。调整后是:先给慢查询加索引、把单次查询超时收紧,再把 connection-timeout 从 30000 毫秒改为 10000 毫秒,让拿不到连接的请求快速失败、快速告警,而不是静默排队 30 秒;同时把池子从 20 调到 40,并按压测结果而不是凭感觉定上限。

3. 超时要对齐:ELB、Tomcat、数据库三层不能各说各话

当时三层超时是脱节的:ELB 空闲超时 60 秒,Tomcat connectionTimeout 20 秒,数据库查询有的没有显式超时。客户端请求在 ELB 侧等 60 秒,但后端 20 秒就断了,ELB 只能返回 502。对齐后的原则是:下游超时小于上游超时,逐层留出余量。例如 Tomcat 20 秒、数据库语句超时 10 秒、ELB 60 秒,这样任何一层先超时,都有明确的错误日志,而不是在中间被静默切断。

验证:不要只看“恢复了”

修复后做了三步验证:第一,用压测把单台 ECS 的连接池打到接近上限,确认 waiting 不再持续堆积;第二,模拟数据库慢 5 秒,确认 ELB 不再因为健康检查摘除节点,/healthz/live 始终返回 200;第三,灰度一台观察 30 分钟,502 从故障时段的约 2.1% 回到 0,再全量发布。

排查清单

步骤 看什么 结论指向
ELB 访问日志 502 的上游耗时是否为 - 请求未到达后端或后端提前断开
健康检查配置 探活接口是否依赖数据库 依赖库的探活会在 DB 一慢时误摘节点
连接池统计 active、idle、waiting waiting 持续大于 0 说明池子是瓶颈
慢查询日志 占用连接最久的 SQL 先修 SQL,再调池子大小
超时配置 ELB、应用、数据库三层 下游超时必须小于上游超时

一句话总结:502 不一定是后端挂了,更常见的是“健康检查误判 + 连接池排队 + 超时不对齐”三件事叠加。把探活做轻、把池子状态打出来、把超时逐层对齐,下一次 502 至少能在 10 分钟内定位到某一层,而不是靠重启碰运气。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。