从一次 502 说起:ELB 健康检查、后端连接池与超时的排查手记
现象:不是全挂,是间歇 502
上午 10:02 到 10:17,业务接口间歇返回 502,约每 3 分钟出现一波,持续 30 秒左右又自己恢复。两台 ECS 的 CPU 都不到 40%,内存也没有告警,第一反应很容易以为是网络抖动。但 ELB 的访问日志里有一个关键信号:502 请求的上游耗时是 -,说明请求根本没有到达后端业务逻辑,或者后端在 ELB 等待期间就断开了。
先分三条线,不要一上来就重启
1. ELB 健康检查:它在检查什么,决定了它会摘掉谁
当时健康检查配置是:HTTP GET /healthz,间隔 5 秒,超时 3 秒,连续 3 次失败摘除。问题出在 /healthz 的实现上:它除了返回进程存活,还顺带做了一次数据库 SELECT 1。数据库一慢,健康检查就超时,ELB 就会认为这台 ECS 不健康并摘除它。摘除后流量全部压到另一台,另一台更慢,于是轮流被摘除,表现为间歇 502。
修复办法是把探活和就绪分开:/healthz/live 只返回进程存活,不查库、不查缓存、不调下游,ELB 健康检查只用它;/healthz/ready 查库和关键依赖,供发布、灰度时判断是否可以接流量。
2. 后端连接池:排队比报错更先出现
服务是 Spring Boot + HikariCP,数据库连接池原来是 maximum-pool-size=20,connection-timeout=30000。出问题时应用日志里看到的不是直接连接失败,而是 Pool stats (total=20, active=20, idle=0, waiting=47):20 个连接全被占满,47 个线程在排队等连接。等 30 秒超时后请求才失败,ELB 一侧看到的就是超时和 502。
这里有两个坑。第一,连接池打满时,慢的不是数据库本身,而是某几条未加索引的查询把连接占住不放,池子被长查询拖垮。第二,connection-timeout 设得太长会把排队时间放大。调整后是:先给慢查询加索引、把单次查询超时收紧,再把 connection-timeout 从 30000 毫秒改为 10000 毫秒,让拿不到连接的请求快速失败、快速告警,而不是静默排队 30 秒;同时把池子从 20 调到 40,并按压测结果而不是凭感觉定上限。
3. 超时要对齐:ELB、Tomcat、数据库三层不能各说各话
当时三层超时是脱节的:ELB 空闲超时 60 秒,Tomcat connectionTimeout 20 秒,数据库查询有的没有显式超时。客户端请求在 ELB 侧等 60 秒,但后端 20 秒就断了,ELB 只能返回 502。对齐后的原则是:下游超时小于上游超时,逐层留出余量。例如 Tomcat 20 秒、数据库语句超时 10 秒、ELB 60 秒,这样任何一层先超时,都有明确的错误日志,而不是在中间被静默切断。
验证:不要只看“恢复了”
修复后做了三步验证:第一,用压测把单台 ECS 的连接池打到接近上限,确认 waiting 不再持续堆积;第二,模拟数据库慢 5 秒,确认 ELB 不再因为健康检查摘除节点,/healthz/live 始终返回 200;第三,灰度一台观察 30 分钟,502 从故障时段的约 2.1% 回到 0,再全量发布。
排查清单
| 步骤 | 看什么 | 结论指向 |
|---|---|---|
| ELB 访问日志 | 502 的上游耗时是否为 - |
请求未到达后端或后端提前断开 |
| 健康检查配置 | 探活接口是否依赖数据库 | 依赖库的探活会在 DB 一慢时误摘节点 |
| 连接池统计 | active、idle、waiting | waiting 持续大于 0 说明池子是瓶颈 |
| 慢查询日志 | 占用连接最久的 SQL | 先修 SQL,再调池子大小 |
| 超时配置 | ELB、应用、数据库三层 | 下游超时必须小于上游超时 |
一句话总结:502 不一定是后端挂了,更常见的是“健康检查误判 + 连接池排队 + 超时不对齐”三件事叠加。把探活做轻、把池子状态打出来、把超时逐层对齐,下一次 502 至少能在 10 分钟内定位到某一层,而不是靠重启碰运气。
- 点赞
- 收藏
- 关注作者
评论(0)