RDS 主备切换多停几分钟:先清旧连接,再谈 DNS 和代理

举报
yd_246930210 发表于 2026/11/02 00:01:37 2026/11/02
【摘要】 10 月 29 日我在社区发了一个设计类问题,先把场景说清楚,再谈结论——场景本身是为把问题问清楚而给出的设定,不是已发生的生产故障记录:RDS for MySQL 是主备架构,主库在一个可用区,备库在另一个可用区,应用跑在 ECS 上,通过 VPC 内网连 RDS,应用侧用了连接池,长连接会复用很久,不是每次请求都新建连接。纠结的接法有两种:直接连 RDS 实例端点,还是连 RDS 代理端...

10 月 29 日我在社区发了一个设计类问题,先把场景说清楚,再谈结论——场景本身是为把问题问清楚而给出的设定,不是已发生的生产故障记录:RDS for MySQL 是主备架构,主库在一个可用区,备库在另一个可用区,应用跑在 ECS 上,通过 VPC 内网连 RDS,应用侧用了连接池,长连接会复用很久,不是每次请求都新建连接。纠结的接法有两种:直接连 RDS 实例端点,还是连 RDS 代理端点。

问题是主备切换那几分钟里,到底哪一环最容易拖时间。讨论里给出的排序很直接,我先把结论放在前面,再一环一环说:

第一环:旧池连接 + 缺 socket 超时,是最大拖时

切换瞬间,已经建立的长连接不会自己变好。池子里还缓存着大量指向旧主库的连接,切换后第一次请求大概率要先失败一次、重试一次,才能恢复;如果池子没有主动探活、批量淘汰,业务请求就得一个一个去撞死连接,撞一次、超时一次、重试一次,几分钟就是这么拖出来的。

这里最关键的不是连接池的大小,而是两件事有没有做:

  1. 借出校验:从池里借连接时先校验一次,死连接不要借出去,不要等到业务 SQL 执行时才发现连接已断;
  2. socket 超时:讨论里给出的取值是 socketTimeout 10–30 秒。没有 socket 超时,或者超时设得过大,一个死连接就能把一次请求拖到函数超时、应用超时,池子里的死连接越多,拖的时间越长。

池连接的最大存活时间,讨论里给出的取值是 maxLifetime 60–180 秒。这个数不是通用标准,是讨论里给出的参考范围,具体要按自己的切换演练结果调:存活时间设得过长,切换后旧连接在池里活得越久;设得过短,正常情况下连接新建销毁又会变多。要配合借出校验一起看,不能只调一个数。

所以第一环的收尾顺序是:先让池子能主动淘汰旧连接(借出校验 + 存活时间),再给连接一个明确的 socket 超时,不要让业务请求在死连接上无限等。

第二环:JVM 永久 DNS 缓存,是第二拖时

如果直接连 RDS 实例端点,切换后实例端点解析到的 IP 会变,但应用、JVM、连接池、操作系统四层都可能缓存 DNS,到底哪一层的 TTL 最难控制?讨论里的结论是 JVM 那一层最难控制:JVM 的 networkaddress.cache.ttl=-1 是永久缓存,DNS 解析结果一旦缓存就不再刷新,切换后应用还在往旧 IP 发请求,连接池清了也没用。

讨论里给出的取值是 JVM TTL 5–10 秒,不是永久缓存。这个数同样是参考范围,不是通用标准,具体要按自己的应用和 JVM 版本验证:TTL 设得过长,切换后 DNS 刷新慢;设得过短,正常解析开销会变大。关键是不要让 TTL 停在 -1 上,也不要只改操作系统那一层的 TTL、忘了 JVM 那一层。

DNS 缓存被高估还是被低估,讨论里的判断是:它不是第一拖时,但如果第一环已经清了旧连接、DNS 还停在旧 IP 上,业务照样多停几分钟。所以 DNS 这一环要和连接池一起改,只改一环,另一环还是会拖时间。

第三环:代理端点是解法,不是瓶颈

改成连代理端点,讨论里的判断是:代理端点本身不换 IP,能绕过 DNS 缓存这一环,代理层能把后端主备变化屏蔽掉,让应用快速拿到新连接。所以代理不是拖时间的那一环,代理是解法。

但这句话要加一个限定:代理内部同样有到后端主库的解析和切换延迟,代理不是零延迟。代理能做的是把“应用侧旧连接 + DNS 缓存”这两环的拖时降下来,不是把切换本身变成零停机。把代理当成万能、以为接了代理就不用清池子、不设超时,切换时照样会拖。

还有一环,讨论里没有完全答完

原问题里还问了切换期间的写:如果旧主只是网络分区、不是真的宕机,备库升主后,旧主上的未同步事务会不会丢,应用侧怎么判断“这笔写到底落在了旧主还是新主”?只靠数据库返回成功够不够,还是必须在业务层用全局唯一写序号 + 切换后对账来兜底?

这一环,讨论里的回答没有给出完整的实测结论,我在这里不替它下结论。写序号 + 切换后对账是一个方向,但具体怎么做、切换演练时怎么验证旧主未同步事务的去向,要按自己的主备同步方式和业务写模型单独验证,不能从连接池和 DNS 的结论里直接推导出来。

演练时看哪几个指标,才算真的验证过

只在测试环境演练,测不出真实的连接池和 DNS 行为;直接在生产库上演练,风险又太大。讨论里给出的演练量化思路是:切换演练时不要只看“最后恢复了没有”,要看这几个数:

  1. 切换后业务恢复到正常耗时,从几分钟降到几十秒没有;
  2. 切换瞬间第一次请求失败率,失败是不是集中在旧连接上;
  3. 池子淘汰旧连接花了多久,借出校验有没有把死连接挡下来;
  4. DNS 刷新花了多久,JVM TTL 改完之后,解析是不是跟上了切换。

这四个数都降下来了,才算“旧连接、DNS、代理”这条链路真的验证过;只看最后恢复了,中间哪一环拖了几分钟是看不出来的。

如果只能先改一环,先改哪一环

按讨论里的排序,先改旧池连接这一环:借出校验 + socket 超时 + 池存活时间,先让切换后死连接不再被业务请求一个一个去撞;再改 JVM DNS TTL,不要让解析停在旧 IP 上;最后再看代理端点,把后端主备变化屏蔽掉。顺序反过来,先接代理、不清池子、不设超时,切换时业务照样要先失败一轮。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。