华为云 NAT 网关 SNAT 端口耗尽与连接复用:一次出网间歇性超时的完整排查

举报
yd_260132607 发表于 2026/11/13 09:43:01 2026/11/13
【摘要】 一、现象与初筛上周三起,跑在华为云 ECS 上的批量对账任务每到整点后十分钟就出现零星出网超时:调用第三方对账接口时约 3%~7% 的请求在 5 秒内拿不到响应,报 connect timeout,重试一次基本成功。任务以 CCE CronJob 形式运行,12 个 Pod 统一走 VPC 内一台 NAT 网关出网。入站正常,带宽峰值仅 60 Mbps,远低于 200 Mbps 上限。三家对...

一、现象与初筛

上周三起,跑在华为云 ECS 上的批量对账任务每到整点后十分钟就出现零星出网超时:调用第三方对账接口时约 3%~7% 的请求在 5 秒内拿不到响应,报 connect timeout,重试一次基本成功。任务以 CCE CronJob 形式运行,12 个 Pod 统一走 VPC 内一台 NAT 网关出网。入站正常,带宽峰值仅 60 Mbps,远低于 200 Mbps 上限。三家对账接口的调用日志显示超时高度集中在同一个 NAT 网关后的 Pod 上。先排除基础三层:路由表 0.0.0.0/0 正确指向该网关,出方向安全组放行全部 TCP,网络 ACL 无 deny 记录,DNS 解析耗时都在 10 ms 以内。再用 curl -v 抓失败请求,发现卡在 Trying 阶段,即 SYN 发出后没有回包,与对端慢(会卡在 Connected to 之后)明显不同,怀疑范围由此收敛到 NAT 网关的会话处理。

二、定位:SNAT 连接数与端口复用

把云监控 CES 里该网关的指标全拉开,终于找到异常:活跃 SNAT 连接数在整点从常态 8000 陡增到 6 万以上,新建连接失败数出现与业务超时时间完全对齐的尖峰。一个 NAT 网关用一个 EIP 做 SNAT 时,可用源端口范围约 1024~65535,约 6.4 万个五元组槽位;我们的对账任务是短连接 HTTP,每笔请求都要新建 TCP 连接,整点批量触发时 12 个 Pod 在几十秒内并发打出几万条连接,加上内核 conntrack 里 TIME_WAIT 连接还要占用端口 60~120 秒,槽位很快被打满。打满后新建连接被丢弃,客户端表现就是 connect timeout;重试时刚好有槽位释放,于是「重试一次就成功」。

三、根因确认

三份数据互证:ss -s 显示 TIME_WAIT 数量在整点后稳定在 4 万以上;conntrack -S 里 insert_failed 计数在超时尖峰时段同步增长;VPC 流日志里被拒绝的出方向 flow 时间与新建连接失败尖峰逐分钟吻合。把网关规格从小型临时升到中型后,当天整点超时率从 5.8% 降到 0.2%,排除了对端与带宽因素。根因明确:不是带宽不够,而是短连接风暴加 TIME_WAIT 端口占用把单 EIP 的 SNAT 端口池耗尽,属典型的连接数型瓶颈。

四、解决方案与验证

改动分三层。应用侧:HTTP 客户端改成连接池复用并开启 Keep-Alive,单 Pod 并发从 800 降到 200,整点任务加 0~30 秒随机抖动避免同时起量,并打开 tcp_tw_reuse 缩短 TIME_WAIT 占用窗口。网关侧:新增一条 SNAT 规则,把对账子网与常规业务子网分开走两个 EIP,端口池直接翻倍;规格升到中型,对连接数超过 5 万配置告警。可观测侧:在 LTS 对 insert_failed 与新建连接失败数配日志与指标双告警。上线后观察 5 个整点周期,超时率稳定在 0.05% 以下,连接峰值回落到 2.1 万,第三方接口 P99 恢复常态。

五、复盘与后续防护

出网类故障先看连接数,再看带宽:云监控里有连接数、新建连接数、丢弃数指标,但带宽曲线往往是平的,只看带宽极易误判成对端抖动;「重试就成功」几乎等价于资源池瞬时耗尽。后续我们把 SNAT 连接水位、TIME_WAIT 数量做进巡检看板,压测环境里加了整点短连接风暴用例,新建批量任务默认要求复用长连接,从源头避免踩到端口池上限。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。