CCE滚动更新被就绪探针卡住的那次发布
我们在华为云 CCE 上跑一个叫 order-api 的小服务,Go 1.21.8 编译,基础镜像是 Debian 12,镜像推到 SWR 的 prod 项目。集群版本是 CCE 1.25.6,控制面托管,节点池里有 3 台通用计算型 c6.large.2xlarge,每台 4 vCPU、8GB 内存,按需计费 ¥0.85/小时,三台节点一个月大概 ¥1850。节点系统盘是 40GB 高 IO,业务数据盘单独挂了 100GB,Deployment 用的 emptyDir 只放临时文件。
服务本身没什么复杂度,1300 行 Go,对外只有下单和查订单两个接口,入口走 APIG 加 ELB。Go.mod 里没有引入 Web 框架,HTTP server 直接用标准库,监听 8080 端口。发布用 kubectl apply,Deployment 副本数是 3。
卡住的那次发布
出事是在周四下午 14:20 的发布窗口。我们改了订单超时逻辑,把 Redis 里的待支付订单从 15 分钟调整到 20 分钟,重新 build 镜像,tag 从 1.8.3 换成 1.8.4,触发 Deployment 滚动更新。策略写的是 maxUnavailable 0、maxSurge 1。
正常情况这个更新两分钟就该结束,结果 kubectl 看过去一直挂着:
$ kubectl -n prod get pods -l app=order-api
NAME READY STATUS RESTARTS AGE
order-api-6d9f7c8b4-hk2qt 0/1 Running 0 4m
order-api-6d9f7c8b4-p9x2m 1/1 Running 0 18m
order-api-5c4b8d9f2-zm77k 1/1 Terminating 0 19m
$ kubectl -n prod rollout status deployment/order-api --timeout=10m
Waiting for deployment "order-api" rollout to finish: 0 of 3 updated replicas are available...
error: timed out waiting for the condition
events 里每次探针失败都刷一遍:
Warning Failed Readiness probe failed: Get "http://10.244.2.15:8080/healthz": dial tcp 10.244.2.15:8080: connect: connection refused
老的 Pod 已经 Terminating 但没退掉,新的 Pod 起来又不 Ready,滚动更新就这么僵住了。我先在发布窗口里手动删过一次新 Pod,kubectl delete pod order-api-6d9f7c8b4-hk2qt 后它重新拉起,4 分钟还是 0/1。这个失败尝试没有解决冲突,反而多消耗了约 70 秒,也证明问题不只是新 Pod 启动慢。删除 Pod 时我还看到它的 grace period 是 30 秒,事件停在 ContainerCreating、Started 和 Pulled 都正常,容器日志也没有 panic。
我又从节点上查了 kubelet 的监听情况,新 Pod 所在节点的 10.244.2.15 上没有进程监听 8080,容器内的 127.0.0.1 却能访问。这个差异让我意识到,问题不是单纯的端口未启动,而是 Pod 生命周期和探针语义混在了一起。
我一开始怀疑错了方向
第一反应是 ELB 健康检查超时太长,又怀疑 SWR 拉镜像慢导致容器起不来,还看了节点内存水位。这几个都排除了:
kubectl describe pod显示拉镜像阶段正常,Started 是 true,Restart Count 是 0,就是 readiness 一直 fail。- 节点上执行
kubectl top pod,order-api 内存只用了 180Mi,CPU 不到 20m,节点没有内存压力。 - 进容器里执行
curl -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/healthz,第一次返回 200,说明进程活着。
真正的问题出在滚动更新和老 Pod 退出之间的重叠期。原配置里,liveness 和 readiness 都打 /healthz:
livenessProbe:
httpGet:
path: /healthz
port: 8080
initialDelaySeconds: 5
periodSeconds: 5
failureThreshold: 3
readinessProbe:
httpGet:
path: /healthz
port: 8080
initialDelaySeconds: 5
periodSeconds: 5
failureThreshold: 3
terminationGracePeriodSeconds: 30
三个坑叠在一起。收到 SIGTERM 后,进程会先关掉 HTTP server,8080 端口直接不监听,于是 readiness 立刻失败;没有 preStop,SIGTERM 和探针失败几乎同时发生;maxUnavailable 0 又要求新 Pod Ready 后才能让老 Pod 少一个,两个问题正好串成死锁。更麻烦的是,失败阈值是 3 次,周期是 5 秒,旧 Pod 已经收到 SIGTERM,探针还在按正常服务的标准检查它,连续失败后 kubelet 还会把终止流程再推一遍。
我中途试过把 readiness 的 initialDelaySeconds 从 5 改成 30,想等端口稳定后再探。这个改动没有意义,因为容器第一次能 curl 通时端口已经正常,失败发生在 Pod 被终止的阶段,而 30 秒延迟反而让摘流更慢。我把参数改回 5 秒,保留了这次失败记录。那次 apply 以后 rollout 又等了 10 分钟,最后还是得到同一个 timeout,失败 Pod 的 age 从 4 分钟变成了 14 分钟。
核心修改是把存活和就绪拆成两个端点。/healthz 只回答进程还在不在,收到 SIGTERM 后也继续返回 200,直到真正退出;/readyz 才反映能不能接流量,收到 SIGTERM 后立刻返回 503。Go 侧收到 SIGTERM 后先原子地把 ready 置为 false,等待 5 秒让在途请求结束,再调用 server.Shutdown,shutdown timeout 也设为 5 秒。
readinessProbe:
httpGet:
path: /readyz
port: 8080
periodSeconds: 3
failureThreshold: 2
lifecycle:
preStop:
exec:
command: ["sh", "-c", "sleep 10"]
terminationGracePeriodSeconds: 60
这里的 preStop sleep 10 是给 ELB 摘流量留时间。terminationGracePeriodSeconds 从 30 提到 60,是因为 preStop 的 10 秒计入 Kubernetes 的终止宽限期,原来的 30 秒虽然理论上够用,但我不想让 preStop 跑完后只剩 20 秒处理请求。Go 代码没有把 shutdown timeout 继续沿用默认值 0,改成了明确的 5 秒;如果超过 5 秒,进程会记录一行 shutdown timeout,然后退出。
maxUnavailable 没法改成 1,因为 ELB 那边开了会话保持,摘一个节点会断连接。我改成 maxUnavailable 0、maxSurge 2。节点池一共 3 台,surge 两个意味着最多 5 个 Pod 同时跑,按当时 180Mi 的实际内存占用算,8GB 内存撑得住。改完后同一个发布重跑,新 Pod 大概 40 秒 Ready,老 Pod 在 15 秒内退干净,全过程 1 分 10 秒。
那天从 14:20 卡到 16:58,一共 2 小时 38 分钟。中间 ELB 有两次 5xx 抖动,分别持续 2 秒和 4 秒,原因是老 Pod 已经开始关 server,但还没被摘出后端。
另外还发现一个和探针无关的连带问题。节点池滚动升级时,PDB 的 minAvailable 写死 1,3 节点池一次只能驱逐 1 个 Pod,升级花了 26 分钟,比预估的 12 分钟长一倍。后来把 PDB 改成 maxUnavailable 1,dry-run 输出确认策略有效,实测节点升级用了 11 分 36 秒。
探针修改上线后连续 11 次发布没有再卡住,最近 11 次平均发布时长 1 分 20 秒,最慢一次 1 分 47 秒,最快 58 秒。
还有两件事没做完。preStop 的 sleep 10 秒是拍的,我没有测出 ELB 后端的准确摘除延迟,不同规格的 ELB 差别不小,找时间需要压一次。应用侧现在只等 5 秒在途请求,如果后面接了长连接推送,这个数得重写,我暂时还没想好怎么改。
- 点赞
- 收藏
- 关注作者
评论(0)