DNS 与 Anycast:从递归解析到全局流量调度
DNS 与 Anycast:从递归解析到全局流量调度
大多数工程师对 DNS 的理解停在"域名换成 IP"。但在真实系统里,DNS 是最便宜也最脆弱的流量调度层:它决定了用户被送到哪个机房、故障时多久能切走、切换时有多少用户还在打旧地址。而 Anycast 让同一个 IP 出现在几十个城市,看起来像是把 DNS 变成了就近接入,实际上又引入了 BGP 层面的一堆不可控因素。把这两件事放在一起看,才能理解为什么"改个解析"经常比"改个代码"更难收场。
一次解析到底走了多少跳
用户在浏览器里输入域名,到真正发出 HTTPS 请求,中间至少经过四层缓存和四次可能的网络往返:
浏览器缓存 → 操作系统缓存 → 本地 DNS(递归解析器)→ 根 → TLD → 权威
│
┌───────┴────────┐
│ 缓存命中即返回 │
└────────────────┘
每一层的 TTL 独立计算,且后面的层不关心前面的层缓存了多久。这意味着你改一条 A 记录,生效时间不是"TTL 秒",而是"最慢的那一层缓存剩下的时间"。用户侧、运营商侧、公共 DNS 侧,任何一层不守规矩,你都得等。
DNS 默认走 UDP 53 端口,报文超过 512 字节会被截断,客户端需要改用 TCP 重查。EDNS0 把 UDP 载荷上限抬到 4096 字节,但仍有设备在中途丢弃大包,这是"解析偶发失败"最常见的物理原因之一。
递归与迭代:两种角色,不是两种模式
很多人把"递归查询"和"迭代查询"当成可选项,其实它们是两个不同角色的固定分工:
- 递归解析器(运营商 DNS、8.8.8.8、1.1.1.1)对客户端承诺"我一定给你最终答案"。它自己去跑腿,把根、TLD、权威依次问一遍,缓存结果,把最终 IP 返回给客户端。
- 权威服务器只回答自己负责的区,不知道就问"你去问别人",返回 NS 记录和 glue 地址。它从不替客户端跑腿。
客户端几乎永远只和递归解析器说话。因此你配置的权威服务器从来没有直接服务过终端用户,它服务的是成千上万个递归解析器。这个认知差别很关键:权威侧的 QPS、来源 IP、地理分布,全部是"解析器的分布",不是"用户的分布"。
缓存与 TTL:生效时间的真相
一条记录的 TTL 是给缓存方的建议值,不是强制约定。实践中会出现三种偏差:
- 负缓存。查询一个还不存在的子域,权威返回 NXDOMAIN,递归解析器会按 SOA 记录里的 minimum 字段缓存这个"不存在"的结果。这就是为什么新上线一个子域,部分用户要等十几分钟才通——他们本地缓存了 NXDOMAIN。
- 截断与降级。部分运营商解析器会主动压短 TTL,甚至无视 TTL 长期缓存以节省带宽,导致切换失效。
- 解析器的下限。一些公共解析器对过短 TTL(比如 1 秒)设了下限,实际生效时间比你设的长。
工程做法是分层设 TTL:日常用 300 秒到 600 秒,保证递归侧压力可控;在大促或变更窗口前一周把 TTL 降到 60 秒,等旧缓存自然过期后再做切换,切完观察一段时间再调回。指望"临时改 TTL 立刻生效"是最典型的误判——旧记录已经在别人缓存里了,你改的只是新查询的结果。
地理调度:GeoDNS 与它的两个先天缺陷
GeoDNS 的思路很直觉:权威服务器根据请求来源 IP 判断归属地,返回最近的机房地址。
第一个缺陷是来源 IP 不是用户 IP。请求来自递归解析器,如果用户用的是运营商本地 DNS,出口 IP 大致对应他的城市;但如果用户配了公共 DNS,或者运营商做了集中出口,权威看到的就是另一个省的地址,甚至另一个国家。用户被调度到千里之外的机房,表现为"访问慢但能通",比彻底不通更难排查。
第二个缺陷是缓存会放大错误。一个解析器服务几万用户,它缓存了错误区域的地址,这几万用户全部被送到远端。GeoDNS 的粒度越细,这种放大效应越明显。
EDNS Client Subnet(ECS)是官方补丁:递归解析器在查询里附带客户端所在的子网(通常截断到 /24),权威据此精确判断。代价是:
- 隐私争议,部分公共解析器默认不发送或只发很粗的网段。
- 缓存碎片化。同一域名按不同子网缓存多份,递归侧缓存命中率下降,权威侧 QPS 上升。全球规模下这是实打实的成本。
- 并非所有链路都传递 ECS,末尾一跳经常被剥离。
所以依赖 ECS 做精细调度,必须接受"部分用户拿不到精确结果",并为此准备兜底区域。
Anycast:把一个 IP 撒到全世界
Anycast 的规则只有一句:多个机房宣告同一个 IP 前缀,互联网路由协议自动把包送到"最近"的那一个。
对 DNS 来说这几乎是天作之合:
同一个 IP 203.0.113.53
┌──────────┬──────────┬──────────┐
│ 北京节点 │ 法兰克福 │ 圣何塞 │
└──────────┴──────────┴──────────┘
▲ ▲ ▲
华北用户 欧洲用户 美西用户
各自被 BGP 路由到最近的宣告点
UDP 是无连接的,任何一个节点都能独立应答,天然适配 anycast。所以根服务器、顶级域、公共 DNS 全部部署 anycast,把解析延迟压到个位数毫秒,同时天然抗 DDoS——攻击流量会被分散到几十个节点,且单点被打掉只影响它周边的一小块区域。
但"最近"是路由意义上的最近,不是地理意义上的最近。BGP 选路的依据是 AS 路径长度、本地优先级、策略偏好,跟经纬度无关。运营商互联关系、peer 结算、甚至一次配置失误,都可能让某个城市的用户被送到另一个大洲。这也是 anycast 最反直觉的地方:你无法从 IP 归属地推断用户从哪个节点接入。
Anycast 的三个工程代价
会话不亲和。TCP 是有连接的,如果中途路由切换,后续包被送到另一个节点,那个节点没有这条连接的状态,连接直接断。对 DNS over TCP、DNS over TLS/HTTPS 这类长连接协议,需要后端做连接状态共享,或者接受偶发重连。BGP 收敛通常几十秒到几分钟,这期间受影响用户的体验是"卡一下然后恢复"。
节点间必须完全等价。所有 anycast 节点要能独立回答所有查询,配置、数据、版本必须同步。做灰度发布变得非常麻烦——你没法保证某个城市的用户先看到新版本,只能说"逐步在更多节点上线"。任何节点配置漂移,都会变成"部分地区解析异常"。
路由劫持与泄漏的暴露面更大。一个普通单播地址被劫持,影响的是它的用户;一个 anycast 前缀被劫持,攻击者可以在任何地方宣告它并截获目标区域的流量。所以 anycast 服务必须配 RPKI 签名路由、严格的前缀过滤和持续的 BGP 监控。
权威侧架构:冗余不是多填几行 NS
多数事故不是出在解析算法,而是出在权威侧的部署形状。一个能扛住机房级故障的配置通常长这样:
- 隐藏主(hidden primary)。真正可写的只有一台不对外暴露的主服务器,所有对外 NS 都是只读从节点。这样任何一台对外节点被攻击或配置出错,都不会污染整份区数据。
- 至少两个 DNS 服务商。同一家厂商的不同机房,仍然共享同一套控制面和同一类缺陷。跨厂商才能覆盖"厂商级"故障。
- 区传送受控。主从同步走 AXFR/IXFR,必须限制来源 IP 并开启事务签名,否则区文件可以被任意人拉走,等于把内网拓扑公开。
- anycast 与单播混用。对外 NS 用 anycast 覆盖全球,同时保留一组单播地址作为"万一路由出问题"的直连入口,供排障和兜底使用。
- 变更走灰度和回滚。先在一台从节点上生效,验证解析结果无误,再推到全部节点;区文件保留版本号,回滚是一次文件替换而不是手工改记录。
还有一条容易被忽略的:NS 记录里的 glue 地址必须和实际服务地址一致。域名服务器本身在同一个域下时,解析它的地址需要 glue,glue 配错会形成循环依赖,表现是整域解析失败,且从任何地方都查不出原因。
调度策略怎么选
三种手段经常被混着用,各自的定位其实很清楚:
| 手段 | 决策依据 | 生效速度 | 主要风险 |
|---|---|---|---|
| GeoDNS | 解析器来源 IP / ECS | TTL 级,秒到分钟 | 判错位置,缓存放大错误 |
| Anycast | BGP 路由度量 | 收敛级,几十秒到分钟 | 无法精确控制,会话中断 |
| 应用层 GSLB | 实时探测 + 健康检查 + 客户端测速 | 秒级 | 需要客户端配合,实现复杂 |
实际架构通常是两层:DNS/Anycast 负责把用户送到"大致正确的大区",应用层再在大区内做精确的机房选择和故障剔除。因为 DNS 层的切换永远受制于 TTL 和缓存,想靠它做秒级故障转移是不现实的;而纯应用层调度又绕不开"第一个请求打到哪"这个问题。
一个常见的组合是:权威 DNS 用低 TTL(60 秒)返回一组就近的接入 IP,客户端 SDK 对这些 IP 做探测,选最快的那个并定期重测。DNS 只负责缩小范围,真正决策交给端上。这套做法在直播、游戏、实时音视频里几乎是标配。
健康检查与故障切换的真实时序
假设机房 A 挂了,走 DNS 切换,实际时间线是这样的:
t+0:A 机房不可用,健康检查探测失败。t+3×探测间隔:连续失败达到阈值,权威侧把 A 的 IP 摘掉。这一步通常 10 到 30 秒。t+30s:新的解析请求开始返回 B 机房 IP。但已经在本地缓存了 A 的记录的用户,仍然会打到 A,直到各自 TTL 到期。这一批用户的失败时长等于 TTL。- 若 TTL 是 300 秒,最坏情况下有 5 分钟的用户流量在打一个已经挂掉的机房。
所以 DNS 故障切换的兜底永远是应用层:客户端重试到备用地址、负载均衡把不健康节点踢掉、或者干脆在 A 机房保留一个能返回"请稍后"的静态页面。只靠 DNS,故障恢复时间不可能小于 TTL。
还有一个反向的坑:健康检查的探测点位置决定了它能看到什么。探测点全部集中在同一个机房时,一旦该机房到故障机房的链路出问题,会误判整个后端不可用,把本来正常的地址全部摘掉,制造一次自己引发的全局故障。探测点必须分散在不同运营商、不同地域,并且对"检测结果不一致"这种情况做保守处理——宁可晚几秒摘除,也不要凭少数点位的失败就全量切换。
观测与排障
DNS 问题最难的地方是"你看不到别人的缓存"。可用的手段有:
- 多视角探测:从多个地区、多个运营商、多个公共解析器分别查询,比对结果。只从一个地方 dig,永远查不出地域性问题。
- 权威侧日志:记录来源解析器 IP、查询名、返回结果、ECS 子网。注意来源是解析器,统计口径要写清"按解析器聚合"。
- TTL 分布监控:采样查询返回的 TTL 剩余值,能推断出各层缓存的实际行为,也能发现谁在无视你的 TTL。
- DNSSEC 验证状态:签名过期、密钥轮换失误会直接导致解析失败,而现象和"域名不存在"极其相似。
- BGP 路由监控:对 anycast 前缀做持续的路由收集,出现新 origin 或路径突变要立刻告警。
- 客户端解析耗时:在端上打点统计"从发起解析到拿到 IP"的耗时分布。这个指标能直接反映 DNS 是否是首屏慢的元凶,而服务端监控永远看不到这一段。
排查顺序建议固定为:先确认权威返回是否正确(直接问权威),再确认解析器是否缓存了旧值(换多个解析器问),最后才怀疑网络。反过来查,大部分时间会浪费在"用户网络有问题"这种无法验证的结论上。
常见坑
- 只配一个 NS 或两个 NS 在同一机房。看起来有冗余,实际一次机房故障就全灭。NS 必须跨机房、跨运营商,最好跨云。
- CNAME 链过长。每多一跳就多一次解析往返,还多一层缓存。CDN 接入常见的三四跳 CNAME,在弱网下能吃掉几百毫秒。
- 切换前没降 TTL。故障发生了才去改解析,旧缓存还要挂几分钟到几小时。
- 用 A 记录指向负载均衡的固定 IP,却没有任何备份地址。单 IP 一旦不可达,所有缓存了它的用户直接黑洞。
- 新域名上线前没预热。NXDOMAIN 被负缓存,部分用户要等 SOA minimum 时间。
- 把 anycast 当万能就近接入。BGP 收敛、会话中断、节点等价性这三件事没解决,anycast 只会让故障定位更难。
- DNSSEC 开了但没监控签名有效期。过期当天全球解析失败,而且回滚也需要时间传播。
- 权威服务器限流按单 IP 配置。来源是解析器,一个大型公共解析器的 QPS 可能顶你几十万用户,限流会误伤一大片。
最后
DNS 是唯一一个"配置改完不等于生效"的基础设施。它的每一次变更都要穿过几十层你不控制的缓存,所以设计时必须假设切换永远是慢的、部分永远是错的:核心链路的可用性不能押在解析上,必须由客户端重试、多地址兜底、应用层健康检查来保证。
Anycast 则是把这个问题换了个方向——它让就近接入变得极其便宜,代价是把控制权交给了 BGP。你能决定在哪里宣告,但决定不了用户从哪个节点进来。理解这一点,就不会在 anycast 出问题时,还去翻解析配置找原因。
- 点赞
- 收藏
- 关注作者
评论(0)