DAY 07 —— Pod 生命周期与优雅退出
================================================================
DAY 07 —— Pod 生命周期与优雅退出
================================================================
【学习目标】
1. 说清 Pod 从创建到删除的完整阶段
2. 掌握 initContainer 的用途与写法
3. 理解 SIGTERM → preStop → SIGKILL 的时序
4. 解决"发布时请求报 502"这个经典问题
5. 会用临时容器 kubectl debug 排查
----------------------------------------------------------------
一、Pod 的 phase(阶段)
----------------------------------------------------------------
kubectl get pod 的 STATUS 列可能是 phase,也可能是容器状态,不要混。
Pending 已创建但未就绪:正在调度 / 正在拉镜像 / 正在挂卷
Running Pod 已绑定节点,至少一个容器在运行或正在启动
Succeeded 所有容器正常退出(exit 0),且不会被重启(Job 用)
Failed 所有容器已终止,至少一个非 0 退出
Unknown 与节点失联(kubelet 不上报)
查询:
kubectl get pod <p> -o jsonpath='{.status.phase}{"\n"}'
kubectl get pod <p> -o jsonpath='{range .status.conditions[*]}{.type}={.status} {end}{"\n"}'
# 输出示例:PodScheduled=True Initialized=True ContainersReady=True Ready=True
四个 condition 的含义:
PodScheduled 已调度到节点
Initialized 所有 initContainer 成功完成
ContainersReady 所有容器 readiness 通过
Ready 汇总(Pod 是否可以接流量)
----------------------------------------------------------------
二、容器状态
----------------------------------------------------------------
kubectl get pod <p> -o jsonpath='{.status.containerStatuses[*].state}{"\n"}'
Waiting 等待中(最常见:ImagePullBackOff / CrashLoopBackOff)
原因在 .state.waiting.reason
Running 正在运行
Terminated 已终止
看 .state.terminated.reason / exitCode / signal
CrashLoopBackOff 不是状态,是 Waiting 的 reason:
容器启动后退出,kubelet 按指数退避重启(10s→20s→40s…最长 5 分钟)。
排查:kubectl logs <p> --previous(看上一次崩溃的日志)
OOMKilled:exitCode 137,limits.memory 不够或内存泄漏
Error:exitCode 非 0,应用自身报错
Completed:exitCode 0,正常结束
----------------------------------------------------------------
三、Pod 创建的完整时序
----------------------------------------------------------------
1) kubectl apply → apiserver 校验、准入、写 etcd
2) scheduler 选中节点 → 写 binding
3) 目标节点 kubelet 感知:
a. 创建 Pod 沙箱(pause 容器,建 network namespace)
b. CNI 分配 IP、配置网络
c. 挂载 volumes(PV/PVC、ConfigMap、Secret)
d. 按顺序拉取并运行 initContainer(每个必须成功退出)
e. 启动所有业务容器(并行)
f. 执行 postStart 钩子
g. 按 probe 配置探测,Ready 后加入 Endpoints
这个顺序解释了为什么:
- 卷挂不上就卡在 ContainerCreating(第 c 步)
- initContainer 失败会一直重启 initContainer(第 d 步)
- 镜像拉不下来也是 ContainerCreating + ImagePullBackOff(第 d/e 步)
----------------------------------------------------------------
四、initContainer:初始化专用容器
----------------------------------------------------------------
特点:
- 先于业务容器运行,按定义顺序依次执行
- 每个必须成功退出(exit 0)才继续下一个
- 失败按 restartPolicy 重试(Pod 级别)
- 可以有独立的镜像(用 busybox 干脏活,不用污染业务镜像)
- 不能配 readinessProbe/lifecycle
【典型用途】
1) 等依赖服务就绪(最常用)
2) 初始化数据目录权限
3) 从远端拉配置/密钥
4) 执行数据库 migration
5) 生成业务容器需要的文件(通过 emptyDir 共享)
【完整示例】
apiVersion: v1
kind: Pod
metadata:
name: app-with-init
spec:
initContainers:
# 1) 等数据库可连
- name: wait-for-db
image: busybox:1.36
command:
- sh
- -c
- |
until nc -z mysql.default.svc.cluster.local 3306; do
echo "waiting for mysql..."; sleep 2
done
echo "mysql is up"
# 2) 初始化目录权限
- name: fix-perms
image: busybox:1.36
command: ["sh","-c","chown -R 1000:1000 /data && chmod 750 /data"]
securityContext:
runAsUser: 0
volumeMounts:
- {name: data, mountPath: /data}
# 3) 拉配置到共享卷
- name: fetch-config
image: curlimages/curl:8.5.0
command:
- sh
- -c
- curl -fsS http://config-server/app.yaml -o /shared/app.yaml
volumeMounts:
- {name: shared, mountPath: /shared}
containers:
- name: app
image: nginx:1.27
volumeMounts:
- {name: data, mountPath: /data}
- {name: shared, mountPath: /etc/app, readOnly: true}
volumes:
- name: data
emptyDir: {}
- name: shared
emptyDir: {}
观察 initContainer:
kubectl get pod app-with-init # STATUS 会显示 Init:0/3、Init:1/3…
kubectl logs app-with-init -c wait-for-db
kubectl describe pod app-with-init | grep -A10 "Init Containers"
注意:initContainer 失败会导致 Pod 一直在 Init 阶段,
日志要用 -c 指定容器名才能看到。
----------------------------------------------------------------
五、生命周期钩子
----------------------------------------------------------------
postStart:容器创建后立即执行(与主进程并行,不保证在 ENTRYPOINT 之前完成)
preStop:容器终止前执行(阻塞,直到完成或超时)
lifecycle:
postStart:
exec:
command: ["sh","-c","echo started >> /tmp/lifecycle.log"]
preStop:
exec:
command: ["sh","-c","sleep 5"]
坑:
- postStart 失败会让容器被杀死重启(它和主进程并行,容易踩竞态)
- postStart 不保证先于 ENTRYPOINT 执行,不要用它做"必须先完成"的初始化——那是 initContainer 的活
- preStop 里有 HTTP 调用但应用已经不再接受请求 → 调用失败(顺序问题)
preStop 也可以发 HTTP:
preStop:
httpGet: {path: /shutdown, port: 8080}
----------------------------------------------------------------
六、终止时序(重点,面试和线上事故都在这)
----------------------------------------------------------------
Pod 被删除时发生什么:
t=0 apiserver 把 Pod 标记 deletionTimestamp
↓
t=0 同时发生两件事(并行,这是关键):
(A) Endpoints/EndpointSlice 控制器把该 Pod 从 Service 后端摘除
然后 kube-proxy 刷新本机规则(其它节点稍后才更新,有延迟)
(B) kubelet 开始终止容器:执行 preStop → 发 SIGTERM
t=0~ preStop 执行(比如 sleep 5)
t=+5s 发 SIGTERM 给容器主进程(PID 1)
t=+X 应用收到 SIGTERM,停止接收新请求、处理完存量请求、退出
t=gracefulPeriod(默认 30s)到期还没退出 → SIGKILL 强杀
【经典 502 问题】
现象:滚动发布时,少量请求 502/Connection reset。
原因:(A) 和 (B) 并行,不是先摘流量再停容器。
某些节点的 kube-proxy 还没刷新规则,仍然把新请求发给这个 Pod,
而此时容器已经收到 SIGTERM 并停止监听 → 连接被拒。
【解法】preStop sleep 5~10 秒
lifecycle:
preStop:
exec:
command: ["sh","-c","sleep 10"]
这 10 秒让"摘流量"的通知扩散到全部节点(kube-proxy 同步周期通常 1-2 秒),
sleep 结束后才发 SIGTERM,此时已不会有新流量进来。
terminationGracePeriodSeconds 必须大于 preStop 时长:
terminationGracePeriodSeconds: 45 # preStop 10s + 应用排空 30s + 余量
【应用侧还必须做的】
1) 捕获 SIGTERM,停止 accept 新连接
2) 等存量请求处理完(如 Go 的 srv.Shutdown(ctx))
3) 关闭连接池、flush 日志、上报下线
4) 不要在 SIGTERM 后立刻 os.Exit(0)
【不要做的事】
- preStop 里 sleep 太long(如 60s)→ 发布变得极慢
- terminationGracePeriodSeconds 设成 0 → 直接 SIGKILL,一定丢请求
- 无状态服务不需要长 sleep,5s 足够
----------------------------------------------------------------
七、重启策略 restartPolicy
----------------------------------------------------------------
Always 默认,容器退出就重启(Deployment/StatefulSet/DaemonSet)
OnFailure 非 0 退出才重启(Job 常用)
Never 从不重启(Job 一次性任务)
注意:
- restartPolicy 是 Pod 级别的,作用于所有容器
- 裸 Pod 用 Always 且节点挂了 → 不会被迁移(没有控制器)
- Job 的模板里只能 Never 或 OnFailure,写 Always 会被 apiserver 拒绝
重启退避:
10s → 20s → 40s → 80s → 160s → 300s(上限),持续 10 分钟正常运行后重置。
----------------------------------------------------------------
八、kubectl debug:临时容器
----------------------------------------------------------------
场景:业务镜像里没有 bash/curl/tcpdump,distroless 镜像无法 exec。
# 1. 给运行中的 Pod 加一个临时容器(1.23+ 默认开启)
kubectl debug -it <pod> --image=busybox:1.36 --target=<容器名>
# --target 让临时容器共享目标容器的进程命名空间,能看它的进程
# 2. 复制一个 Pod 并改(不碰原 Pod)
kubectl debug <pod> --copy-to=debug-pod --image=busybox:1.36 -it
# 3. 调试节点(在节点上起特权容器,挂宿主根目录)
kubectl debug node/<node-name> -it --image=busybox:1.36
# 容器内 chroot /host 就进入了宿主机文件系统
# 常用于查看 kubelet 日志、CNI 配置、磁盘
临时容器特点:
- 不参与调度(在已有 Pod 里加容器)
- 不受 Pod 的 resources 限制约束(注意别把节点压垮)
- 不能配 ports/probes/lifecycle
- Pod 删除后临时容器也消失
----------------------------------------------------------------
九、sidecar 模式
----------------------------------------------------------------
同一 Pod 内多容器共享网络和卷,常见组合:
1) 日志转发:业务写 /var/log/app.log → sidecar(fluent-bit)读并转发
2) 代理:Envoy/Istio sidecar 拦截流量
3) 配置同步:git-sync 拉配置到共享卷
4) 适配器:把应用指标转成 Prometheus 格式
K8s 1.29+ 原生 sidecar:initContainer 加 restartPolicy: Always
initContainers:
- name: log-shipper
image: fluent-bit:2.2
restartPolicy: Always # 关键:原生 sidecar
volumeMounts:
- {name: logs, mountPath: /var/log/app}
好处:sidecar 先于业务容器启动、后于业务容器退出(顺序有保证),
这是普通多容器 Pod 做不到的。
----------------------------------------------------------------
十、Day 07 自检清单
----------------------------------------------------------------
[ ] 能说出 phase 与容器状态的区别
[ ] 能画出 Pod 创建时序,解释 ContainerCreating 卡住的四种原因
[ ] 写一个 initContainer 等 MySQL 就绪的完整 Pod
[ ] 能完整讲出 t=0 时"摘流量"和"发 SIGTERM"是并行的
[ ] 能解释 preStop sleep 为什么能解决 502
[ ] terminationGracePeriodSeconds 与 preStop 的时长关系算得对
[ ] 会用 kubectl debug 给 distroless 容器排障
[ ] 知道原生 sidecar(initContainer + restartPolicy: Always)
常见坑:
- preStop sleep 10 但 terminationGracePeriodSeconds 只有 5 → 5 秒就被 SIGKILL
- 应用不处理 SIGTERM,被 SIGKILL 强杀,请求丢一半
- postStart 里做耗时初始化,导致容器被认为启动失败反复重启
- initContainer 一直失败,Pod 停在 Init,用 kubectl logs 不带 -c 看不到日志
- kubectl debug 临时容器给了 4C8G 请求,把节点挤爆
- 直接把 restartPolicy 改成 Never 期望"不再重启",结果 Pod 变 Failed
- 点赞
- 收藏
- 关注作者
评论(0)