VPC对等连通故障两小时排查记录
变更背景和故障出现
上周三 19:20 我做订单服务迁移,区域华北-北京四,同账号两套 VPC:vpc-app(10.20.0.0/16)和 vpc-data(10.30.0.0/16)。应用机 ecs-app-01 是 ECS s7n.large.2,2 vCPU/4 GiB,Ubuntu 22.04,内核 5.15.0-105-generic;数据库机 ecs-db-01 是 ECS s7n.xlarge.2,4 vCPU/8 GiB,EulerOS 2.0,MySQL 8.0.32。对等连接 pcx-4e6d9b71 提交后 47 秒变成“已接受”,我当时把这个状态直接当成“链路已通”,现在看这个假设太草率。
业务代码没动,还是 Spring Boot 3.2.5,镜像 registry.cn-beijing.example/order-service:20240612.3,JDK 21.0.3。服务走 systemd,配置在 /opt/order-service/config/application-prod.yml。19:42 告警打进群,订单接口 P95 从 82ms 拉到 2.7s,错误率从 0.2% 到 18.6%,每分钟失败请求从 11 增到 913。应用日志里既有网络异常也有连接池超时:
2026-06-12 19:42:11.904 ERROR ... HikariPool-1 - Connection is not available, request timed out after 2000ms.
2026-06-12 19:42:11.905 WARN ... SqlExceptionHelper : SQLState: 08S01
com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
Caused by: java.net.SocketTimeoutException: connect timed out
我第一反应是 MySQL 晚高峰抖动,判断方向一开始就偏了。
在应用机我先做直连探测,mysql client 8.0.36、nc 1.218-4ubuntu1,都是超时:
ubuntu@ecs-app-01:~$ nc -vz -w 2 10.30.6.18 3306
nc: connect to 10.30.6.18 port 3306 (tcp) timed out: Operation now in progress
ubuntu@ecs-app-01:~$ mysql -h 10.30.6.18 -u app_rw -p -P 3306
ERROR 2003 (HY000): Can't connect to MySQL server on '10.30.6.18:3306' (110)
19:56 我做了一次失败尝试,想靠调大超时硬扛。具体改动是 connectionTimeout 2000 改 8000,validationTimeout 1000 改 3000,JDBC URL 加 connectTimeout=8000&socketTimeout=10000;我还把 minimumIdle 从 10 降到 4,担心失败连接占满池子。执行 sudo systemctl restart order-service 后,服务重启用了 4 分 12 秒。结果没有改善,RT 仍在 2.4s 到 2.9s,日志只是从“2 秒超时”变成“8 秒超时”。
spring:
datasource:
url: jdbc:mysql://10.30.6.18:3306/order_db?connectTimeout=8000&socketTimeout=10000
hikari:
connectionTimeout: 8000
validationTimeout: 3000
minimumIdle: 4
maximumPoolSize: 30
排查修复和后续
19:50 到 20:18 我一直盯数据库机,后来证明确实走错路。top 里 mysqld CPU 在 9% 到 13%,load average 0.71/0.66/0.60;iostat -x 1 看到 nvme0n1 util 峰值 34%,await 2.1ms;mysqladmin processlist 没锁等待,show global status like 'Threads_running' 在 12 到 16,和平时晚高峰差不多。慢日志 5 分钟只出 3 条超过 200ms 的 SQL,数据库没有“炸库”迹象。
这 28 分钟我是在原地打转。
20:20 我改抓包,应用机只发 SYN,没有 SYN-ACK 回来:
sudo tcpdump -i eth0 host 10.30.6.18 and port 3306 -nn
20:20:43 IP 10.20.4.27.46312 > 10.30.6.18.3306: Flags [S], seq 214742891, win 64240
20:20:44 IP 10.20.4.27.46312 > 10.30.6.18.3306: Flags [S], seq 214742891, win 64240
20:20:46 IP 10.20.4.27.46312 > 10.30.6.18.3306: Flags [S], seq 214742891, win 64240
我到这一步才确认问题在网络路径,不在 MySQL 进程。
20:36 我临时开了跳板机 ecs-jump-02(s6.small.1,1 vCPU/2 GiB,按量 0.096 元/小时)放在 vpc-data,系统 Alibaba Cloud Linux 3.2104。从它连 10.30.6.18:3306 秒通,再从它回连 10.20.4.27:22 也能握手,说明两边实例都活着。我还做了个无效操作,把 db 机 firewalld 默认 zone 从 public 改 trusted,命令 firewall-cmd --set-default-zone=trusted,观察 5 分钟后回滚到 public,因为应用侧抓包依然没有 SYN-ACK,包没到主机层。
[root@ecs-jump-02 ~]# nc -vz -w 2 10.30.6.18 3306
Connection to 10.30.6.18 3306 port [tcp/mysql] succeeded!
[root@ecs-jump-02 ~]# nc -vz -w 2 10.20.4.27 22
Connection to 10.20.4.27 22 port [tcp/ssh] succeeded!
我回看记录发现 20:27 就查过路由,但当时没盯住关键点。我把 10.30.0.0/16 的对等路由加在默认路由表 rtb-default-10cf,而应用子网 10.20.4.0/24 实际绑定 rtb-3a1d2c7f。CLI 返回里确实没有 pcx 路由:
aliyun vpc DescribeRouteTableList --RegionId cn-beijing --RouteTableId rtb-3a1d2c7f
DestinationCidrBlock: 10.20.0.0/16 NextHopType: local
DestinationCidrBlock: 0.0.0.0/0 NextHopType: natgateway
我补了路由:aliyun vpc CreateRouteEntry --RegionId cn-beijing --RouteTableId rtb-3a1d2c7f --DestinationCidrBlock 10.30.0.0/16 --NextHopType PeeringConnection --NextHopId pcx-4e6d9b71。控制台显示生效用了 23 秒,再测 nc 仍超时,说明还有第二个挡板。
21:03 在数据库安全组 sg-data-mysql 找到第二个坑,3306 入方向源地址还写着旧子网 10.20.3.0/24。迁移后应用 IP 是 10.20.4.27,规则不匹配。我的改法是先加新规则再删旧规则,避免中间窗口断联:
修改前:TCP 3306 源 10.20.3.0/24 策略 Allow
新增: TCP 3306 源 10.20.0.0/16 策略 Allow
确认后删除:10.20.3.0/24
21:11 改完 3 秒内恢复握手,21:14 监控回稳。整次故障从告警到恢复 2 小时 17 分,真正改配置只用了 7 分钟。临时跳板机跑了 3 小时 12 分,账单 0.31 元;LTS 新增日志摄入 126MB,次日多 0.63 元。现在我把变更前检查脚本写到 Python 3.11(220 行),能校验“子网绑定路由表 + 目标 CIDR 到 pcx + 安全组源网段”。这套检查还在人工执行,CodeArts 发布门禁和 SMN 失败通知我还没接完,下周先把这两个点补上,再做一次同场景演练。
- 点赞
- 收藏
- 关注作者
评论(0)