容器内 DNS 解析异常的排查:ndots 搜索域试探如何放大偶发超时
一、问题现象
某次服务迁移到容器平台后,业务 Pod 偶发出现连接超时并自动重试,重试一次就成功。监控上看 Service 与 Ingress 全部正常,Pod 内访问同集群另一个 Pod 的域名也完全正常,只有访问集群外的某个业务域名会失败。更奇怪的是失败率只有百分之几,而且集中在流量较低的时段。
二、原因分析
第一直觉是网络策略被拦或者 DNS 解析慢。于是抓包、看日志,发现超时的请求全部卡在 DNS 查询阶段:发出 UDP 查询后要等到超时才重试,而且实际发出的查询名不是我配置的那个域名,而是被追加了一层后缀。
回头看容器内的 /etc/resolv.conf,问题就清楚了:
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
关键在 options ndots:5。它的含义是:当查询名中的点号数量少于 5 时,解析器会先把 search 列表里的后缀依次拼上去逐个尝试。我的业务域名只有一个点号,于是每一次查询实际会先尝试:
service.example.com.default.svc.cluster.local
service.example.com.svc.cluster.local
service.example.com.cluster.local
service.example.com
前三次都是 NXDOMAIN(权威 DNS 明确返回不存在),第四次才真正命中。
正常情况下 CoreDNS 对这些不存在的名字响应很快(毫秒级),所以问题本来不该暴露。但当 CoreDNS 负载偏高、或节点网络出现抖动时,前面三次失败会叠加 UDP 查询的超时重传时间,最终把「第一次查询慢」放大成了「偶发连接超时」。这也解释了为什么只有百分之几命中:只有那些域名恰好能被某个搜索后缀命中、或者刚好赶上 CoreDNS 缓存命中时才不受影响。
三、解决过程
第一步是验证而不是猜测。在 Pod 内分别用 dig 直接查 FQDN 与短名,对比耗时:
dig +short service.example.com.default.svc.cluster.local # 返回空,NXDOMAIN
dig +short service.example.com # 正常返回 IP
两者耗时相差二十倍以上,基本坐实了「多级后缀试探」是主要开销,而不是网络本身慢。
第二步改配置而不是改代码。把业务域名统一写成绝对域名(FQDN),直接绕开 ndots 的试探逻辑。代价是要维护一份域名清单,并且新接入的域名必须遵守这个约定,否则问题会复发。
第三步配合 DNS 服务端治理。对本集群确定不存在的名字配置拒绝规则,避免每次都走完整解析链;同时把 CoreDNS 的缓存上限和并发数调大,降低缓存击穿时被放大的幅度。
四、可复用结论
第一,ndots 不是可以忽略的默认参数。容器环境里它的默认值往往比开发者预想的高,排查 DNS 问题的第一步应该是直接 cat /etc/resolv.conf,而不是先怀疑网络。
第二,「偶发超时」不等于网络问题。要把 DNS 解析耗时和连接耗时分开看,用 dig 做短名与 FQDN 的对照实验,比在应用日志里猜测要可靠得多。
第三,搜索后缀试探会把 N 次失败放大成一次慢查询。任何域名解析配置的改动,都应该用「短名 vs FQDN」的对照实验来验证实际收益,而不是凭感觉判断。
第四,客户端与服务端要一起改。客户端改成 FQDN 解决的是自己的问题;DNS 服务端拒绝无效后缀请求,才是全局收益。
- 点赞
- 收藏
- 关注作者
评论(0)