ELB 后端服务器健康检查异常排查实战:从监听器到后端端口的五步流程
ELB 后端服务器健康检查异常排查实战:从监听器到后端端口的五步流程
背景
一台 ELB 负载均衡器挂了两台后端 ECS,控制台上后端服务器健康检查一直显示异常,业务访问时断时续。本文记录一次真实的排查过程,从监听器配置入手,五步定位到健康检查端口与后端服务端口不一致的问题。
一、确认监听器与后端服务器组配置
先确认负载均衡侧的配置本身有没有错,再去查后端服务器。
# 在控制台核对三项:监听器协议与端口、后端服务器组、健康检查配置
# 健康检查协议、检查端口、检查路径、间隔、超时时间、健康阈值
本例中监听器是 HTTP 80,后端服务器组里两台 ECS 都在,健康检查协议 HTTP、检查路径是 /health、检查端口写的是 8080。结论:配置看起来完整,问题可能在后端那一侧。
二、在后端服务器上自查端口与服务
健康检查是 ELB 主动去连后端端口,先在后端本机上确认这个端口到底通不通。
ss -tlnp | grep 8080
curl -s -o /dev/null -w "%{http_code}\n" 127.0.0.1:8080/health
systemctl status app
本例中 ss 显示 8080 端口根本没在监听,curl 直接拒绝连接,而应用进程是运行的。结论:应用实际监听的是 80 端口,健康检查去连 8080 当然失败,问题定位到端口不一致。
三、检查安全组与网络 ACL
即使端口对了,ELB 的健康检查报文也可能被安全组拦在门外。
# 核对后端 ECS 安全组入方向:是否放行了 ELB 所在网段到健康检查端口的流量
# 核对子网网络 ACL:入方向和出方向都要放行,返回报文也要能回来
本例中安全组只放行了业务端口 80,没有放行 8080。结论:端口改对之后,安全组也要同步放行,否则检查还是失败。
四、检查健康检查配置本身
端口和网络都通了,检查还可能因为配置太苛刻而失败。
curl -s -o /dev/null -w "%{http_code} %{time_total}\n" 127.0.0.1:80/health
本例中 /health 接口第一次返回了 404——应用的健康检查路径实际是 /healthz,不是 /health。另外超时时间只设了 2 秒,接口冷启动时偶尔超过 2 秒也会判失败。结论:检查路径要和应用真实的接口一致,超时时间要留够余量。
五、检查后端服务器负载与日志
单台后端偶尔异常,还要看它本身是不是扛不住了。
top -bn1 | head -20
df -h
tail -n 100 /var/log/app/app.log
本例中一台后端 CPU 长期在 90% 以上,健康检查接口响应越来越慢。结论:把这台后端先从服务器组里摘除,等负载下来再加回去,避免它拖垮整个服务的可用性。
小结
ELB 健康检查异常,先看监听器和后端服务器组配置,再到后端本机查端口与服务,然后查安全组和网络 ACL,接着核对检查路径与超时配置,最后看后端负载与日志。五步走完,本例的三个问题都找到了:检查端口 8080 与应用实际端口 80 不一致、安全组没放行检查端口、检查路径 /health 与真实接口 /healthz 不符。改对端口、放行安全组、修正检查路径后,两台后端健康检查全部恢复正常。
- 点赞
- 收藏
- 关注作者
评论(0)