ZooKeeper 的临时节点不是“连接断开即删除”,是一份客户端无法观测兑现时刻的异步契约
ZooKeeper 临时节点(ephemeral node)被广泛用作分布式锁和服务发现的基石,背后的核心假设很简洁:临时节点绑定 session,session 失效,节点自动删除。这条表述在大多数文档里以“自动清理”的形式出现,读起来像是一个由 ZooKeeper 保证的原子动作。但 ZooKeeper 的 session 过期与临时节点删除不是原子性的。Dubbo 的文档在讨论基于临时节点的注册中心时,直接记录了这条极端场景:客户端在得到 session 过期的消息时,session 对应的临时节点可能还未被 ZooKeeper 删除;此时客户端去创建新节点,发现旧节点仍然存在,于是不重新创建。临时节点的承诺不是“session 死亡与节点消失同时发生”,而是“ZooKeeper 最终会删除它们,但在客户端观测到过期的那一刻,删除可能还没有发生”。这个时间差不是实现瑕疵,是 ZooKeeper 把 session 生命周期与 Znode 生命周期分置于两条不同处理路径上的结构性结果。
session 过期由集群决定,客户端只是在重连时“被告知”
理解这个时间差的起点,是确认“谁在什么时候判断 session 过期”。ZooKeeper 的 session 过期由集群自身管理,不由客户端决定;只有 leader 活跃时,session 才能被过期或关闭[reference:0]。客户端并不会在过期发生的那一刻同步收到通知。Mesa 的 ZooKeeper 封装代码里对此有一条精确的注释:“ZooKeeper 在我们重连之前不会告知 session 过期,而重连可能远晚于 session 实际过期的时间”,这可能在网络分区时导致延长的脑裂场景。
也就是说,session 过期是一个服务端侧已经发生的事实,而客户端对这个事实的感知,依赖于下一次成功重连。在客户端重连并收到 SESSION_EXPIRED 之前,它可能仍然认为自己持有有效的 session,继续基于“临时节点还在”的假设执行逻辑。而服务端侧,过期已经发生,临时节点的删除已经在处理路径上——但“已经在处理”不等于“已经完成”。
过期与删除分处两条路径,中间存在可观测的窗口
ZooKeeper 对 session 过期的处理有一条明确的表述:session 过期时,集群会删除该 session 拥有的所有临时节点,并立即通知所有监听这些 Znode 的已连接客户端。这条表述容易被读成“删除和通知是一起完成的”。但 Dubbo 文档记录的场景揭示了两者之间的分离:客户端在得到 session 过期的消息时,临时节点可能还未被删除。
这个窗口的存在,意味着基于临时节点的互斥逻辑必须接受一个前提:“旧节点不存在”不是“旧持有者已经失效”的充分证据。一个客户端在收到过期通知后尝试重新创建临时节点,发现旧节点仍然存在,它的合理反应是“不重新创建”——但旧节点对应的旧 session 实际上已经死亡,旧持有者已经失去了对节点的所有权。如果旧持有者在此刻仍然在执行受锁保护的操作(它可能尚未重连、尚未感知到过期),互斥就已经在客户端感知层面被破坏了,尽管 ZooKeeper 的数据层面最终会收敛。
这不是 ZooKeeper “做错了什么”。它选择的是最终一致性的删除语义,而不是阻塞式的同步删除。代价被精确地转移到了使用方:临时节点的持有者身份,在 session 过期到节点实际删除之间的窗口内,处于一种客户端无法可靠判断的中间状态。
脑裂场景下,窗口被拉长到“实际过期”与“客户端重连”之间的全部时间
上述窗口在网络正常时通常很短:leader 过期 session,删除请求进入处理管线,客户端重连并收到通知,窗口关闭。但 ZooKeeper 的架构允许这个窗口在网络分区下被显著拉长。
Mesa 代码注释中的“延长的脑裂场景”指向的正是这一点:如果客户端与 ZooKeeper 集群之间的网络分区持续时间较长,客户端可能在 session 实际过期很久之后才重连并收到通知。在这段延长的窗口内,客户端仍然以为自己持有 session,可能继续以“持有者”的身份执行操作;而服务端侧,session 已经死亡,临时节点的删除可能已经发生、也可能正在进行。客户端的行为和服务端的状态在这段时间内是脱耦的。
SOLR-7844 记录了一个具体的后果:在分片 leader 选举期间,如果一个 host 的 ZooKeeper session 过期,临时 leader 选举节点被移除,但处理选举的线程仍然存在,并且可能认为自己赢得了选举;当新的 session 建立后,这些线程会错误地创建 leader 节点,导致多个 leader 同时存在[reference:5]。这里的失效不是“ZooKeeper 没有删除节点”,而是“节点被删除之后,旧持有者的进程内状态没有同步失效”。ZooKeeper 能做的只是删除 Znode;它无法触及客户端进程内的线程和变量。临时节点的“锁”语义,在客户端侧从来不是由 ZooKeeper 单方面强制执行的。
用临时节点做锁,等于把安全性押在“客户端会正确响应过期”上
把上面几条放在一起,临时节点的承诺边界就清楚了:ZooKeeper 承诺的是“过期 session 拥有的临时节点最终会被删除”,不承诺“删除发生在客户端感知到过期之前”,也不承诺“旧持有者在删除发生之前已经停止操作” 。基于临时节点构建分布式锁或 leader 选举,其安全性依赖于一个使用方必须自己承担的前提:旧持有者在 session 过期后,到它实际停止受保护操作之前,不会与新持有者产生冲突。
ZooKeeper 官方推荐的防护方式是 fencing token(围栏令牌) :受锁保护的操作携带一个单调递增的令牌,下游服务拒绝令牌不高于已见最大值的请求。令牌的作用不是消除过期与删除之间的窗口,而是让窗口内的旧请求在下游被拒绝,从而把“互斥”从 Znode 层面延伸到实际操作的执行层面。没有围栏令牌的临时节点锁,其安全性等价于“信任所有客户端都会在收到过期通知后立即停止”——而客户端收到通知的时机本身,已经被证明可能晚于实际过期。
边界不在“临时节点”这个特性里
临时节点的边界不在“session 过期后节点会被删除”这条最终保证里。它的边界分布在三个时间点之间的间隔中:session 实际过期的时刻(由集群判定,客户端不可见)、客户端收到过期通知的时刻(取决于重连,可能被网络分区拉长)、以及临时节点实际被删除的时刻(与通知的投递不是原子的,可能在通知之后仍存在)。这三个时刻之间的每一个间隔,都是“旧持有者可能仍然在行动、而新持有者已经开始认为锁可用”的窗口。
判断一个基于临时节点的协调逻辑是否“真的安全”,比看 session timeout 的数值更有用的,是先确认三件事:受锁保护的操作是否携带围栏令牌或等价的单调递增标识,使窗口内的旧请求在下游被拒绝;客户端是否在收到 session 过期事件之前,就可能基于“节点仍然存在”的观测做出创建决策,而这个决策在过期事件到达后不会被重新评估;以及在预期的网络分区时长下,从实际过期到客户端重连的间隔是否可能长到让旧持有者的操作与新持有者的操作重叠。临时节点承诺的是最终清理,不是实时互斥;互斥的兑现条件,写在围栏令牌和客户端状态机对过期事件的响应路径里,而不是写在“创建临时节点”这个动作本身。
- 点赞
- 收藏
- 关注作者
评论(0)