华为云 ELB 负载均衡实战:从四层到七层、健康检查与会话保持的完整落地
引言:流量一上来,先垮的往往不是业务代码,而是入口
很多系统第一次被真实流量打到时,倒下的并不是业务代码,而是一台单点部署的服务器:CPU 还没满,连接数先满了;一台机器重启,全站跟着不可用;明明扩了两台机器,请求却只落在一台上。这些问题的共同点是入口没有做负载均衡,或者做了却没有做对。
本文以华为云弹性负载均衡 ELB 为例,把一次完整的落地过程拆开讲清楚:什么时候用四层、什么时候用七层,监听器、后端服务器组、健康检查、会话保持各自解决什么问题,压测时怎么验证,以及上线后最常见的 502、503、健康检查失败怎么排查。全文按真实操作顺序组织,照着做就能在自己的 VPC 里搭出一套可用的 ELB 入口。
先说结论:ELB 不是“买一个就能高可用”的魔法盒子,它只负责把流量合理地分发到健康的后端。真正的可用性来自后端多副本、健康检查配得准、会话保持选得对、以及出现故障时有人能从监控和日志里快速定位。
一、先分清:四层与七层,选错了后面全是补丁
ELB 的监听器分为四层和七层两类,区别不在价格,而在它“看不看得懂”应用层内容。
四层监听器工作在传输层,协议是 TCP 或 UDP。它不解析 HTTP,只按 IP 和端口把连接转发到后端,转发效率高、延迟低,适合对协议无感知的场景:数据库代理、游戏长连接、自定义 TCP 协议、以及后端本身已经做了七层路由的情况。四层转发时,源地址的透传需要额外注意:如果后端要拿到客户端真实 IP,要确认是否开启了 TOA 或 Proxy Protocol,并让后端应用正确解析,否则日志里看到的全是 ELB 的内网地址。
七层监听器工作在应用层,协议是 HTTP 或 HTTPS。它能读到请求头、域名和 URL 路径,因此可以做更精细的路由:按域名把 API 域名和网站域名分到不同后端组,按路径把 /api/* 交给后端服务、把 /static/* 交给静态服务;还能做重定向、请求头改写和基于 Cookie 的会话保持。代价是多了一层解析,延迟略高于四层,且 HTTPS 需要在 ELB 上配置证书并做好证书到期提醒。
一张选型表可以帮你快速决策:
| 场景 | 推荐监听器 | 原因 |
|---|---|---|
| Web 网站、API 服务、需要按域名或路径分流 | 七层 HTTP/HTTPS | 能做内容路由和会话保持 |
| TCP 长连接、游戏、自定义协议 | 四层 TCP | 延迟低,不解析应用层 |
| UDP 实时业务,如语音、视频信令 | 四层 UDP | 只支持四层,延迟敏感 |
| 后端已经是 Nginx/Ingress,ELB 只做入口分发 | 四层 TCP | 避免两层七层重复解析 |
一个常见的错误是把所有流量都挂到一个七层监听器上,然后抱怨延迟变高;另一个错误是把需要按路径分流的 API 挂到四层监听器上,结果发现根本分不出去。先想清楚流量长什么样,再选监听器。
二、实验环境与目标架构
本文的实验环境是一次最小可用的落地,资源都在同一个 VPC 内,避免跨 VPC、跨可用区的干扰变量:
- VPC:一个,网段 10.0.0.0/16,两个子网分别位于可用区 A 和可用区 B。
- ECS:两台,均为 2 核 4 GB,分别部署在两个可用区,作为后端服务器,运行同一个 Nginx 静态页面,页面上打出本机主机名,方便验证流量是否真的分到了两台机器。
- ELB:一个独享型实例,公网带宽按需。独享型实例的性能和规格可以独立调整,适合对延迟和并发有明确要求的生产入口;共享型实例成本更低,适合流量较小的测试环境。
- 域名(可选):一个已备案域名,解析到 ELB 的公网地址,用于验证七层域名路由。没有域名时,先用 ELB 的公网 IP 做验证,再补域名。
目标架构很简单,也正是生产环境的最小形态:
客户端
│
▼
ELB(公网,七层 HTTPS 监听器 443)
├─ 域名路由:API 域名 → 后端组 api-servers
└─ 路径路由:/static/* → 后端组 static-servers
│
▼
后端服务器组(ECS-01 可用区 A,ECS-02 可用区 B)
健康检查:HTTP GET /healthz,2 秒间隔,3 次失败摘除
两个可用区各放一台后端,是为了让“单可用区故障”不再等于“全站故障”。如果两台后端都在同一个可用区,ELB 本身再高可用也救不了可用区级故障。
准备工作先核对三件事:安全组放行了 ELB 到后端的端口(本例是 80),后端服务器上的应用已经启动并且能本地访问,VPC 的路由和子网没有把 ELB 的健康检查流量挡住。这三件事任何一件没做,后面都会表现为“健康检查失败”,排查起来却像 ELB 的问题。
三、第一步:创建负载均衡器与监听器
创建 ELB 的顺序是:先建实例,再建监听器,最后建后端服务器组并把服务器加进去。这个顺序不能乱,因为监听器要绑定后端组,后端组要先有健康检查配置。
在控制台创建独享型 ELB 时,先选可用区和网络类型。公网类型适合直接对外提供服务,私网类型适合只在 VPC 内部做分发。带宽选按需计费,测试阶段先用较小的带宽,压测前再调大,避免一上来就把带宽拉满。
创建监听器时,七层 HTTP 先从 80 端口开始验证,跑通后再上 HTTPS 443。很多新手一上来就配 HTTPS,结果证书、域名解析、后端跳转三个问题同时出现,分不清是哪一环错了。分步验证的顺序是:HTTP 80 跑通 → 后端分发正确 → 再加 HTTPS 证书和 80 到 443 的强制跳转。
四层 TCP 监听器的配置相对简单,关键在两个地方:一是后端端口要和应用实际监听的端口一致,二是确认是否需要透传客户端真实 IP。如果后端是 Nginx,可以在后端配置里用 Proxy Protocol 或 X-Forwarded-For 来取真实 IP,ELB 侧按文档开启对应选项。没有这个配置,访问日志和限流都会失真。
一个监听器只对应一个端口和一种协议,80 和 443 要分别建两个监听器。它们可以共享同一个后端服务器组,也可以各绑不同的组。生产上常见的做法是:80 只做跳转到 443,443 承载全部业务流量,这样证书只需要在一个地方维护。
四、第二步:七层路由——域名、路径与转发策略
七层监听器的价值体现在转发策略上。转发策略是一条“如果请求满足某个条件,就把它交给某个后端组”的规则,条件可以是域名、URL 路径、请求头或查询参数。
先建两个后端服务器组:api-servers 放两台跑 API 的 ECS,static-servers 放跑静态资源的 ECS(测试时可以和 API 用同一批机器、不同端口来模拟)。然后在 443 监听器上加两条策略:
- 域名等于 API 域名,转发到 api-servers。
- 路径以 /static/ 开头,转发到 static-servers。
- 默认后端组设为 api-servers,兜底所有没有命中策略的请求。
策略的优先级按配置顺序匹配,第一条命中即停止继续匹配,所以要把最具体的规则放前面、把最宽泛的默认规则放最后。如果把“路径 /”放在最前面,后面的精细规则永远不会被命中。
用 curl 验证路由是否生效,是最直接的办法:
# 域名路由:应返回 API 后端的主机名
curl -s -H "Host: api-域名" http://<ELB 公网 IP>/healthz
# 路径路由:应返回静态后端的内容
curl -s http://<ELB 公网 IP>/static/index.html | head -n 5
# 默认路由:不带任何特殊路径,应落到默认后端组
curl -s http://<ELB 公网 IP>/ | head -n 5
在后端 Nginx 里放一个能打出主机名的页面,验证才有意义:
server {
listen 80;
location /healthz {
return 200 "ok\n";
}
location / {
return 200 "hostname: $hostname\n";
add_header Content-Type text/plain;
}
}
多次请求后,两台后端的主机名应该交替出现。如果始终只出现一台,先检查负载均衡算法是不是被设成了源 IP 哈希:同一个客户端 IP 在源 IP 哈希算法下会一直落到同一台后端,压测时看起来就像“没有分发”。测试阶段建议用轮询算法,确认分发正常后再按业务需要调整。
五、第三步:后端服务器组与健康检查
健康检查是 ELB 的“体检”机制:它定期向后端发探测请求,连续失败达到阈值就把这台后端摘除,不再给它分流量;后端恢复后,再自动加回来。没有健康检查的负载均衡只是“轮询”,一台后端挂了,用户还是会有一半的概率撞上故障节点。
本例的健康检查这样配:
- 检查协议:HTTP,检查端口 80,检查路径 /healthz。
- 检查间隔:2 秒,超时时间 5 秒。
- 健康阈值:连续 3 次成功判定健康;不健康阈值:连续 3 次失败判定不健康。
健康检查路径一定要用一个轻量的专用接口,不要用首页或需要查数据库的接口。首页可能依赖缓存、数据库或第三方服务,一个依赖抖动就会导致健康检查误判,把健康的后端也摘掉。/healthz 只返回 200 和一个固定字符串,不查库、不调外部服务,这是最稳妥的做法。
验证健康检查生效的方法是手动制造一次故障:在一台 ECS 上停掉 Nginx:
# 在 ECS-01 上执行,模拟后端故障
sudo systemctl stop nginx
# 等待约 10 秒(3 次检查 × 2 秒间隔 + 超时)
# 再多次请求 ELB,应只看到 ECS-02 的主机名
for i in 1 2 3 4 5 6; do curl -s http://<ELB 公网 IP>/; done
# 恢复后重新验证
sudo systemctl start nginx
如果停掉一台后端后请求仍然偶尔失败,说明健康检查的摘除还没生效,或者检查间隔配得太长。生产环境建议把不健康阈值设小一点、间隔设短一点,让故障摘除更快;代价是健康检查流量会多一点,对后端来说几乎可以忽略。
六、第四步:会话保持——登录态不漂移
轮询分发有一个副作用:同一个用户的连续请求可能落到不同后端。如果应用把登录态存在本机内存里,用户就会出现“刚登录又掉线”的现象。解决办法是会话保持,让同一客户端在一段时间内固定访问同一台后端。
ELB 提供两种会话保持方式:
- 源 IP 会话保持:按客户端 IP 哈希,同一 IP 固定到同一后端。配置简单,但多个用户共用一个出口 IP(公司内网、NAT 网关后)时,这些用户会全部挤到一台后端上,分发不均。
- Cookie 会话保持:ELB 在响应里植入 Cookie,后续请求带着这个 Cookie 就回到同一台后端。分为负载均衡器 Cookie(ELB 自己生成)和应用 Cookie(应用自己生成,ELB 只负责识别)。Cookie 方式更精细,但只对七层 HTTP/HTTPS 监听器有效,四层监听器看不到 Cookie。
选哪一种,看应用本身有没有做无状态改造:如果登录态已经放到了 Redis 或数据库里,会话保持可以关掉,让流量均匀分发,这是最理想的状态;如果登录态还在本机内存,先用 Cookie 会话保持兜底,再排期把会话外置。会话保持不是高可用的替代品——后端挂了,会话保持不会把用户“粘”在一台故障机器上,健康检查摘除后,请求会重新落到健康后端,用户需要重新登录一次,这是可以接受的代价。
七、第五步:压测与验证——别只看“能打开”,要看“分得均、摘得快”
上线前至少跑三组验证:
第一组是分发验证。用循环请求看两台后端的主机名是否交替出现,比例是否接近 1:1。单客户端压测时如果比例失衡,先看算法是不是源 IP 哈希,再看权重是不是被设成了 1:10。
for i in $(seq 1 20); do curl -s http://<ELB 公网 IP>/; done | sort | uniq -c
第二组是故障验证,也就是第五节里停掉一台 Nginx 的演练。记录从停机到请求全部落到健康后端的时间,这个时间应该接近健康检查的摘除时间(本例约 10 秒)。如果超过 30 秒,检查间隔和阈值是不是配得太保守。
第三组是压力验证。用 wrk 或 Apache Bench 从一台压测机打 100 并发、持续 60 秒,观察三件事:ELB 的新建连接数和并发连接数有没有到实例规格上限,CPU 和带宽有没有瓶颈,后端 ECS 的负载是否均匀。
# 示例:100 并发,持续 60 秒
ab -n 10000 -c 100 http://<ELB 公网 IP>/
压测时还要盯着云监控:ELB 的请求数、后端响应时间、健康后端数,以及 ECS 的 CPU、内存和连接数。只看“请求成功了”是不够的——后端响应时间从 50 毫秒涨到 500 毫秒,往往是后端连接池或数据库先到瓶颈,ELB 只是把问题暴露出来。
八、常见故障排查清单
上线后遇到问题,先按这张表定位,再去看日志:
| 现象 | 最可能的原因 | 排查动作 |
|---|---|---|
| 访问 ELB 超时,无响应 | 安全组或网络 ACL 挡住了 ELB 到后端 | 检查后端安全组是否放行 ELB 内网地址和后端端口 |
| 502 Bad Gateway | 后端返回了非法响应,或后端直接断开 | 直连后端 IP 访问同一路径,看后端是否正常响应 |
| 503 Service Unavailable | 后端组里没有健康后端 | 看健康检查状态,是不是所有后端都被摘除了 |
| 健康检查一直失败 | 检查路径不存在,或后端只监听了 127.0.0.1 | 在后端本机 curl 127.0.0.1:80/healthz,再 curl 内网 IP 验证 |
| 只有一台后端有流量 | 负载均衡算法是源 IP 哈希,或另一台权重为 0 | 换轮询算法复测,检查后端权重配置 |
| HTTPS 证书报错 | 证书过期、域名与证书不匹配 | 检查证书有效期和域名,确认监听器绑的是正确证书 |
502 和 503 是最容易混淆的一对:502 是后端“给了错误答案”,503 是“没有健康的后端可以给答案”。先分清这点,排查方向就不会错。
九、安全与成本:入口的安全等级决定全站的安全等级
ELB 是公网入口,安全配置不能只靠后端:
- 访问控制:用 ELB 的访问控制策略限制来源 IP,管理后台、测试环境只放行公司出口 IP;也可以在监听器上只放行必要的端口。
- 证书管理:HTTPS 证书提前 30 天设置到期提醒,证书轮换时先在新监听器上验证,再切换流量,避免证书过期导致全站 HTTPS 不可用。
- 日志:开启 ELB 访问日志,把日志投递到 OBS 或日志服务,出了问题才能回放请求、定位是哪个后端、哪个时间点开始异常。没有日志的入口,故障复盘只能靠猜。
- 成本:独享型实例按规格和带宽计费,带宽用按需计费先跑,流量稳定后再评估包年包月;测试环境的 ELB 用完及时释放,空闲的公网 ELB 和弹性 IP 都会持续产生费用。
十、检查表与总结
一次 ELB 落地完成前,对照这张检查表逐项打勾:
- [ ] 四层还是七层已经按流量特征选定,不是凭感觉。
- [ ] 后端分布在两个可用区,单可用区故障不等于全站故障。
- [ ] 健康检查用轻量 /healthz 接口,摘除时间实测在 10 秒左右。
- [ ] 七层路由按域名和路径验证过,默认后端组已设置。
- [ ] 会话保持按应用状态选定,无状态应用优先关掉会话保持。
- [ ] 故障演练做过:停一台后端,请求全部落到健康后端。
- [ ] 压测做过:分发均匀、响应时间正常、监控指标有人看。
- [ ] 证书到期提醒、访问日志、访问控制都已配置。
回顾全文,ELB 落地的核心不是“建一个实例”,而是把四件事做对:选对监听器类型、配准健康检查、让会话保持匹配应用状态、以及用压测和故障演练证明它真的可用。按这个顺序走一遍,一个 ELB 入口从“能打开”到“敢上线”,只需要一个下午;跳过验证直接上线,故障时付出的代价往往是这个时间的几十倍。
下一步可以继续做的,是把 ELB 和 CCE 的 Ingress、Service 结合起来:ELB 做集群入口,Ingress 做集群内七层路由,后端 Pod 随 HPA 自动扩缩容,健康检查和会话保持的配置思路和本文完全一样,只是后端从 ECS 变成了 Pod。
- 点赞
- 收藏
- 关注作者
评论(0)