VPC对等连通故障两小时排查记录

举报
yd_292017662 发表于 2026/11/07 11:25:12 2026/11/07
【摘要】 我在华为云同区域做两套VPC互通时,把路由表和安全组各错了一处,业务报数据库超时,整整查了2小时17分。记录了报错、命令输出、修复动作和这次补上的防呆脚本,方便团队下次变更前自检。

变更背景和故障出现

上周三 19:20 我做订单服务迁移,区域华北-北京四,同账号两套 VPC:vpc-app(10.20.0.0/16)和 vpc-data(10.30.0.0/16)。应用机 ecs-app-01 是 ECS s7n.large.2,2 vCPU/4 GiB,Ubuntu 22.04,内核 5.15.0-105-generic;数据库机 ecs-db-01 是 ECS s7n.xlarge.2,4 vCPU/8 GiB,EulerOS 2.0,MySQL 8.0.32。对等连接 pcx-4e6d9b71 提交后 47 秒变成“已接受”,我当时把这个状态直接当成“链路已通”,现在看这个假设太草率。

业务代码没动,还是 Spring Boot 3.2.5,镜像 registry.cn-beijing.example/order-service:20240612.3,JDK 21.0.3。服务走 systemd,配置在 /opt/order-service/config/application-prod.yml。19:42 告警打进群,订单接口 P95 从 82ms 拉到 2.7s,错误率从 0.2% 到 18.6%,每分钟失败请求从 11 增到 913。应用日志里既有网络异常也有连接池超时:

2026-06-12 19:42:11.904 ERROR ... HikariPool-1 - Connection is not available, request timed out after 2000ms.
2026-06-12 19:42:11.905 WARN  ... SqlExceptionHelper : SQLState: 08S01
com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
Caused by: java.net.SocketTimeoutException: connect timed out

我第一反应是 MySQL 晚高峰抖动,判断方向一开始就偏了。

在应用机我先做直连探测,mysql client 8.0.36、nc 1.218-4ubuntu1,都是超时:

ubuntu@ecs-app-01:~$ nc -vz -w 2 10.30.6.18 3306
nc: connect to 10.30.6.18 port 3306 (tcp) timed out: Operation now in progress

ubuntu@ecs-app-01:~$ mysql -h 10.30.6.18 -u app_rw -p -P 3306
ERROR 2003 (HY000): Can't connect to MySQL server on '10.30.6.18:3306' (110)

19:56 我做了一次失败尝试,想靠调大超时硬扛。具体改动是 connectionTimeout 2000 改 8000,validationTimeout 1000 改 3000,JDBC URL 加 connectTimeout=8000&socketTimeout=10000;我还把 minimumIdle 从 10 降到 4,担心失败连接占满池子。执行 sudo systemctl restart order-service 后,服务重启用了 4 分 12 秒。结果没有改善,RT 仍在 2.4s 到 2.9s,日志只是从“2 秒超时”变成“8 秒超时”。

spring:
  datasource:
    url: jdbc:mysql://10.30.6.18:3306/order_db?connectTimeout=8000&socketTimeout=10000
    hikari:
      connectionTimeout: 8000
      validationTimeout: 3000
      minimumIdle: 4
      maximumPoolSize: 30

排查修复和后续

19:50 到 20:18 我一直盯数据库机,后来证明确实走错路。top 里 mysqld CPU 在 9% 到 13%,load average 0.71/0.66/0.60;iostat -x 1 看到 nvme0n1 util 峰值 34%,await 2.1ms;mysqladmin processlist 没锁等待,show global status like 'Threads_running' 在 12 到 16,和平时晚高峰差不多。慢日志 5 分钟只出 3 条超过 200ms 的 SQL,数据库没有“炸库”迹象。

这 28 分钟我是在原地打转。

20:20 我改抓包,应用机只发 SYN,没有 SYN-ACK 回来:

sudo tcpdump -i eth0 host 10.30.6.18 and port 3306 -nn
20:20:43 IP 10.20.4.27.46312 > 10.30.6.18.3306: Flags [S], seq 214742891, win 64240
20:20:44 IP 10.20.4.27.46312 > 10.30.6.18.3306: Flags [S], seq 214742891, win 64240
20:20:46 IP 10.20.4.27.46312 > 10.30.6.18.3306: Flags [S], seq 214742891, win 64240

我到这一步才确认问题在网络路径,不在 MySQL 进程。

20:36 我临时开了跳板机 ecs-jump-02(s6.small.1,1 vCPU/2 GiB,按量 0.096 元/小时)放在 vpc-data,系统 Alibaba Cloud Linux 3.2104。从它连 10.30.6.18:3306 秒通,再从它回连 10.20.4.27:22 也能握手,说明两边实例都活着。我还做了个无效操作,把 db 机 firewalld 默认 zone 从 public 改 trusted,命令 firewall-cmd --set-default-zone=trusted,观察 5 分钟后回滚到 public,因为应用侧抓包依然没有 SYN-ACK,包没到主机层。

[root@ecs-jump-02 ~]# nc -vz -w 2 10.30.6.18 3306
Connection to 10.30.6.18 3306 port [tcp/mysql] succeeded!
[root@ecs-jump-02 ~]# nc -vz -w 2 10.20.4.27 22
Connection to 10.20.4.27 22 port [tcp/ssh] succeeded!

我回看记录发现 20:27 就查过路由,但当时没盯住关键点。我把 10.30.0.0/16 的对等路由加在默认路由表 rtb-default-10cf,而应用子网 10.20.4.0/24 实际绑定 rtb-3a1d2c7f。CLI 返回里确实没有 pcx 路由:

aliyun vpc DescribeRouteTableList --RegionId cn-beijing --RouteTableId rtb-3a1d2c7f
DestinationCidrBlock: 10.20.0.0/16  NextHopType: local
DestinationCidrBlock: 0.0.0.0/0      NextHopType: natgateway

我补了路由:aliyun vpc CreateRouteEntry --RegionId cn-beijing --RouteTableId rtb-3a1d2c7f --DestinationCidrBlock 10.30.0.0/16 --NextHopType PeeringConnection --NextHopId pcx-4e6d9b71。控制台显示生效用了 23 秒,再测 nc 仍超时,说明还有第二个挡板。

21:03 在数据库安全组 sg-data-mysql 找到第二个坑,3306 入方向源地址还写着旧子网 10.20.3.0/24。迁移后应用 IP 是 10.20.4.27,规则不匹配。我的改法是先加新规则再删旧规则,避免中间窗口断联:

修改前:TCP 3306  源 10.20.3.0/24  策略 Allow
新增:  TCP 3306  源 10.20.0.0/16  策略 Allow
确认后删除:10.20.3.0/24

21:11 改完 3 秒内恢复握手,21:14 监控回稳。整次故障从告警到恢复 2 小时 17 分,真正改配置只用了 7 分钟。临时跳板机跑了 3 小时 12 分,账单 0.31 元;LTS 新增日志摄入 126MB,次日多 0.63 元。现在我把变更前检查脚本写到 Python 3.11(220 行),能校验“子网绑定路由表 + 目标 CIDR 到 pcx + 安全组源网段”。这套检查还在人工执行,CodeArts 发布门禁和 SMN 失败通知我还没接完,下周先把这两个点补上,再做一次同场景演练。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。