压测到一半突然报 Cannot assign requested address:一次 TIME_WAIT 端口耗尽的排查

举报
yd_227779397 发表于 2026/11/18 08:58:22 2026/11/18
【摘要】 从一次「QPS 刚上去所有出站请求全挂」的事故讲起:为什么报错不是超时而是 Cannot assign requested address,TIME_WAIT 到底占的是什么资源,ss 怎么读出真相,以及 tcp_tw_reuse、连接池、长连接、客户端端口范围这几种手段各自适用什么场景、又会踩什么坑。

那天下午做压测,前 20 分钟一切正常,QPS 从 200 逐步加到 800,忽然所有出站调用集体失败。日志里不是常见的超时,也不是 connection refused,而是一句乍看很莫名其妙的话:

dial tcp 10.20.30.40:8080: connect: cannot assign requested address

服务自身没崩,CPU 不高,内存正常,上游也是健康的。问题既不在对端,也不在本机的算力,而在本机一个很小的资源池:临时端口。

一、这个报错到底在说什么

cannot assign requested address(EADDRINUSE 的兄弟,但含义不同)在客户端侧几乎只有一种原因:内核在为一个新的出站 TCP 连接挑选本地端口时,在允许的临时端口范围内找不到一个可用的端口。

关键在于「可用」的定义。一个 TCP 连接由四元组唯一确定:(源IP, 源端口, 目的IP, 目的端口)。理论上同一个源端口可以复用到不同目的地址上,但内核默认不会这么做,因为复用会让 TIME_WAIT 的语义变得难以保证。于是实际约束是:

在 TIME_WAIT 未回收之前,该 (源IP, 源端口, 目的IP, 目的端口) 组合不能被新连接占用。

所以真正被消耗的不是「端口号」,而是「端口号 × 目的四元组」这个组合的槽位。当你的服务是一个高频短连接客户端,且目的地址集中在少数几个 IP:Port 上时,槽位消耗速度会远超直觉。

先确认临时端口范围:

cat /proc/sys/net/ipv4/ip_local_port_range
# 常见输出:32768	60999   → 约 2.8 万个端口

2.8 万听起来很多,但如果每个请求都新建一条连接、每条连接关闭后要等 60 秒才回收,那么理论上限就是 28232 / 60 ≈ 470 条/秒的稳态新建速率。超过这个速率,端口池就会被 TIME_WAIT 填满。压测时 QPS 800、每请求一条短连接,正好踩在这条线上。

二、先看真相,别猜

排查这类问题只需要两条命令,先看总量分布,再看细节。

# 1. 按状态统计,重点看 TIME_WAIT 数量
ss -s

# 2. 看这些 TIME_WAIT 都是谁产生的、连向哪里
ss -tan state time-wait | awk 'NR>1{print $4}' | cut -d: -f1 | sort | uniq -c | sort -rn | head

如果第二条命令的输出集中在本机某一个 IP上,说明这个 IP 就是出站源地址,端口池是它一个人在耗。如果是多个 IP 各占一部分,那要看是不是某些服务绑定在具体网卡地址上导致端口池被切分。

再看目的端分布:

ss -tan state time-wait | awk 'NR>1{print $5}' | sort | uniq -c | sort -rn | head

如果前几名高度集中于同一个 IP:Port,那基本可以断定:短连接 + 单一后端 = 端口池必然被打穿。这不是调参能根治的,是架构问题。

顺手确认一下当前临时端口用了多少:

# 本机所有非 LISTEN 的 TCP 连接里,处于 TIME_WAIT 的比例
ss -tan | awk 'NR>1{print $1}' | sort | uniq -c

三、四种手段,按性价比排序

1. 改成长连接或连接池(唯一根治)

如果客户端是 Go / Java / Python 的 HTTP 客户端,把 MaxIdleConnsPerHost、连接池大小、keep-alive 打开,一条连接复用几十上百次,端口消耗立刻下降一到两个数量级。这是唯一能真正解决问题的做法。

Go 的默认 http.Transport 里 MaxIdleConnsPerHost 只有 2,高并发下大量连接刚用完就被关掉、下次重建,是 TIME_WAIT 大户。这是最常见的隐形坑:

tr := &http.Transport{
    MaxIdleConns:        500,
    MaxIdleConnsPerHost: 100,   // 默认 2,必须改
    IdleConnTimeout:     90 * time.Second,
}
client := &http.Client{Transport: tr}

Java 侧对应的是 HttpClient 的连接池或 Apache HttpClient 的 PoolingHttpClientConnectionManager;Python requests 要用 Session 而不是每次 requests.get。

2. 打开 tcp_tw_reuse(只对出站有效)

sysctl -w net.ipv4.tcp_tw_reuse=1

它允许内核在出站连接上复用处于 TIME_WAIT 的端口,前提是时间戳(TCP timestamps)单调递增足以保证不会串包。注意三点:

  • 只影响出站(客户端侧),对入站监听端口没有帮助;
  • 需要 net.ipv4.tcp_timestamps=1(现代内核默认开);
  • 它不减少 TIME_WAIT 的数量,只是让这些端口「可以被重新借出去」,ss 里依然会看到大量 TIME_WAIT,但不会再报错。

这是最容易见效的一步,改完立刻生效,无需重启服务。

3. 扩大临时端口范围

sysctl -w net.ipv4.ip_local_port_range="10000 65000"

把可用端口从 2.8 万提到 5.5 万,等于把上限翻倍。代价是这些端口不能再被本机服务 listen 使用,要确认没有服务绑定在这个区间里。属于「买时间」的手段,治标不治本。

4. 缩短 TIME_WAIT 时长(慎用)

sysctl -w net.ipv4.tcp_fin_timeout=30

注意:tcp_fin_timeout 控制的是 FIN_WAIT_2 的超时,不是 TIME_WAIT 的时长。TIME_WAIT 固定为 2 × MSL,Linux 上写死 60 秒,改不了。网上流传的 tcp_tw_recycle 早在 4.12 内核就被删除了,在 NAT 环境下开启会导致丢包,不要用。

所以严格来说,能动的只有端口范围、复用策略和连接模型这三件事。

四、几个容易误判的地方

误判一:以为 TIME_WAIT 是服务端的问题。 TIME_WAIT 永远出现在主动关闭方。如果你的服务作为服务端看到大量 TIME_WAIT,说明是你在主动 close,通常是没读干净请求体、或者 Connection: close 用得太多。

误判二:看到端口数没满就排除端口问题。 ss -s 里的 TCP: 28232 (estab 300, closed 27000, ...) 这个总数包含所有状态。真正要看的是 time-wait 那一项和可用端口的差值。另外,如果服务绑定了具体源 IP(net.Dialer.LocalAddr),端口池是按 IP 切分的,整体没满不代表这个 IP 没满。

误判三:把 EADDRNOTAVAIL 当成 EADDRINUSE。 前者是「找不到可用端口」,后者是「端口已被占用」。在本机监听端口冲突时是 EADDRINUSE,出站连接耗尽时是 EADDRNOTAVAIL(cannot assign requested address)。这两个错误码指向完全不同的方向。

误判四:只改客户端不改监控。 端口耗尽会周期性复发(压测、大促、定时任务)。建议直接加一条监控:ss -tan state time-wait | wc -l 超过端口范围的 70% 就告警,比等业务报错早得多。

五、我最终的处理顺序

回到那天的事故,实际处理是:

  1. 先用 ss 确认 TIME_WAIT 2.7 万、目的地址集中在一个 IP,定性为端口耗尽;
  2. 临时 tcp_tw_reuse=1 + 端口范围扩到 10000-65000,压测立刻恢复;
  3. 当天改客户端连接池,MaxIdleConnsPerHost 从 2 提到 100,压测重跑后 TIME_WAIT 从 2.7 万降到 300 以内;
  4. 加监控告警,把这根弦留在系统里。

调参救急、改连接模型治本、加监控防复发——这个顺序对几乎所有「资源池被打满」类问题都适用。

判断标准很简单:如果 TIME_WAIT 的数量随 QPS 线性增长,就一定是连接模型的问题,再多调参也只是把天花板抬高一点。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。