容器内 curl 超时但宿主机正常:一次 MTU 与 DNS 双重踩坑排查
现象:一个只能在容器里复现的连不上
上周排查一个很典型的问题。同一个 API 服务,在物理机上 curl 正常,放进容器后就不行了。报错分两种:一种是一直卡着,等到 60 秒超时给出 connect timed out;另一种是 DNS 报错,提示 Temporary failure in name resolution。
有意思的是,宿主机自己 curl 完全正常,甚至在同一台机器上直接 docker exec 进去 ping 公网 IP 也是通的。这就让排查方向变得很清楚:问题不在网络本身,而在容器这一层的配置差异上。
第一步:先分清是连不上还是解析不了
抓问题前先做一次二分。分别执行三个命令:直接 curl IP、curl 域名、nslookup 域名。结果很有信息量:curl IP 超时、nslookup 也失败。但 ping IP 是通的。
ping 走 ICMP,curl 走 TCP。ICMP 能通、TCP 握手超时,这是我第一次意识到问题的关键线索。如果是路由不通,ICMP 也不该通;如果是防火墙全封,ICMP 和 TCP 会一起挂。只挂 TCP,说明包出去了但没回来,或者包大到某一步被丢了。
第二步:MTU 是第一个嫌疑
容器默认网络是 bridge,veth pair 的 MTU 通常跟着 docker0 走,默认 1500。但如果宿主机所在的云主机本身 MTU 是 1450,或者走了 VXLAN、IPIP 之类的隧道封装,容器里的 1500 就偏大了。
这个时候最容易踩的坑是:ping 默认发小包,几十字节,轻松通过;而 curl 建立连接时 TCP 握手包虽小,但后续传数据会带 DF 标志位发送 1500 字节大包,一旦超过路径 MTU 就会被静默丢弃,且不会收到 ICMP 分片需求消息——因为很多云环境把 ICMP 关了。
验证方法很直接:ping -M do -s 1472 目标IP。1472 加 28 字节 IP 和 ICMP 头正好 1500。如果这个不通而 -s 1400 通,基本就能锁定 MTU 问题。
第三步:DNS 是第二个坑,而且会放大第一个坑
nslookup 失败还牵出第二个问题。容器的 /etc/resolv.conf 默认由 Docker 管理,指向 127.0.0.11 这个内嵌 DNS。这个内嵌 DNS 本身没问题,但它会把查询转发给宿主机配置的上游 DNS。
问题在于 DNS 查询走 UDP,默认包大小也不小,加上很多 resolver 会做 EDNS0 扩展,单次查询接近 1400 字节。MTU 不对的时候,DNS 查询包同样会被丢。于是就出现了那种特别迷惑的现象:有时候能解析,有时候不能,取决于域名响应大小。
这两个问题叠在一起,症状就变成了随机失败,看起来像服务不稳定,实际是两个确定的配置问题在互相干扰。
第四步:怎么修,以及修哪里
MTU 的修法有几种,按彻底程度排序。最省事的是启动容器时指定 --network 的自定义 bridge,把 mtu 参数设成路径 MTU,比如 1450。次一点的是运行期改:ip link set dev eth0 mtu 1450,但容器重启就没了。最不该做的是让应用自己去调包大小,那是把网络问题推给业务代码。
DNS 这边,我倾向于显式指定上游,不依赖自动注入:在 docker run 时加 --dns,或者在 compose 里写 dns 字段。指定成宿主机同网段的解析器,能避免内嵌 DNS 转发时的额外一跳和潜在的截断问题。
改完之后的验证也别只看 curl 一次成不成功。建议跑一个循环,连续请求几十次,统计失败率。单次成功的说服力太弱,因为这两个问题都是概率性的。
几个容易忽略的细节
第一,MTU 问题在容器之间通信时可能完全不出现。因为同宿主机的 bridge 内部流量不经过物理网卡,1500 完全没问题。一旦访问外网才暴露。所以在容器里测容器互访,会得到错误的结论。
第二,Kubernetes 环境下这个问题更常见。CNI 插件用 VXLAN 的话,封装头会吃掉 50 字节左右,MTU 必须相应调小。很多 Helm chart 默认不设,导致 pod 访问外网偶发超时。
第三,改 MTU 之后要确认 conntrack 表里的旧连接清掉了。已经建立的老连接还按旧 MSS 走,看起来像改了不起作用。
第四,别迷信 tcpdump 抓包看到的一切。如果包在到达抓包点之前就被丢了,tcpdump 什么都看不到,容易误判成应用层没发包。在两端同时抓,对比才能定位丢在哪一跳。
最后小结
容器网络问题的排查顺序,我现在的习惯是:先 ICMP 和 TCP 分开测,确认是连通性还是解析;再查 MTU,用带 DF 标志的大包验证;最后看 DNS,注意内嵌 resolver 的转发链路。这三步基本能覆盖大部分容器里连不上外网的情况。
比起一上来就怀疑防火墙或者安全组,先确认包的尺寸和解析链路,往往能省掉很多无效的排查时间。
- 点赞
- 收藏
- 关注作者
评论(0)