DAY 07 —— Pod 生命周期与优雅退出

举报
yd_268505900 发表于 2026/11/13 15:14:02 2026/11/13
【摘要】 DAY 07 —— Pod 生命周期与优雅退出

================================================================
DAY 07 —— Pod 生命周期与优雅退出
================================================================
【学习目标】
1. 说清 Pod 从创建到删除的完整阶段
2. 掌握 initContainer 的用途与写法
3. 理解 SIGTERM → preStop → SIGKILL 的时序
4. 解决"发布时请求报 502"这个经典问题
5. 会用临时容器 kubectl debug 排查

----------------------------------------------------------------
一、Pod 的 phase(阶段)
----------------------------------------------------------------
kubectl get pod 的 STATUS 列可能是 phase,也可能是容器状态,不要混。

Pending     已创建但未就绪:正在调度 / 正在拉镜像 / 正在挂卷
Running     Pod 已绑定节点,至少一个容器在运行或正在启动
Succeeded   所有容器正常退出(exit 0),且不会被重启(Job 用)
Failed      所有容器已终止,至少一个非 0 退出
Unknown     与节点失联(kubelet 不上报)

查询:
kubectl get pod <p> -o jsonpath='{.status.phase}{"\n"}'
kubectl get pod <p> -o jsonpath='{range .status.conditions[*]}{.type}={.status} {end}{"\n"}'
# 输出示例:PodScheduled=True Initialized=True ContainersReady=True Ready=True

四个 condition 的含义:
PodScheduled   已调度到节点
Initialized    所有 initContainer 成功完成
ContainersReady 所有容器 readiness 通过
Ready          汇总(Pod 是否可以接流量)

----------------------------------------------------------------
二、容器状态
----------------------------------------------------------------
kubectl get pod <p> -o jsonpath='{.status.containerStatuses[*].state}{"\n"}'

Waiting     等待中(最常见:ImagePullBackOff / CrashLoopBackOff)
            原因在 .state.waiting.reason
Running     正在运行
Terminated  已终止
            看 .state.terminated.reason / exitCode / signal

CrashLoopBackOff 不是状态,是 Waiting 的 reason:
容器启动后退出,kubelet 按指数退避重启(10s→20s→40s…最长 5 分钟)。
排查:kubectl logs <p> --previous(看上一次崩溃的日志)

OOMKilled:exitCode 137,limits.memory 不够或内存泄漏
Error:exitCode 非 0,应用自身报错
Completed:exitCode 0,正常结束

----------------------------------------------------------------
三、Pod 创建的完整时序
----------------------------------------------------------------
1) kubectl apply → apiserver 校验、准入、写 etcd
2) scheduler 选中节点 → 写 binding
3) 目标节点 kubelet 感知:
   a. 创建 Pod 沙箱(pause 容器,建 network namespace)
   b. CNI 分配 IP、配置网络
   c. 挂载 volumes(PV/PVC、ConfigMap、Secret)
   d. 按顺序拉取并运行 initContainer(每个必须成功退出)
   e. 启动所有业务容器(并行)
   f. 执行 postStart 钩子
   g. 按 probe 配置探测,Ready 后加入 Endpoints

这个顺序解释了为什么:
- 卷挂不上就卡在 ContainerCreating(第 c 步)
- initContainer 失败会一直重启 initContainer(第 d 步)
- 镜像拉不下来也是 ContainerCreating + ImagePullBackOff(第 d/e 步)

----------------------------------------------------------------
四、initContainer:初始化专用容器
----------------------------------------------------------------
特点:
- 先于业务容器运行,按定义顺序依次执行
- 每个必须成功退出(exit 0)才继续下一个
- 失败按 restartPolicy 重试(Pod 级别)
- 可以有独立的镜像(用 busybox 干脏活,不用污染业务镜像)
- 不能配 readinessProbe/lifecycle

【典型用途】
1) 等依赖服务就绪(最常用)
2) 初始化数据目录权限
3) 从远端拉配置/密钥
4) 执行数据库 migration
5) 生成业务容器需要的文件(通过 emptyDir 共享)

【完整示例】
apiVersion: v1
kind: Pod
metadata:
  name: app-with-init
spec:
  initContainers:
  # 1) 等数据库可连
  - name: wait-for-db
    image: busybox:1.36
    command:
    - sh
    - -c
    - |
      until nc -z mysql.default.svc.cluster.local 3306; do
        echo "waiting for mysql..."; sleep 2
      done
      echo "mysql is up"
  # 2) 初始化目录权限
  - name: fix-perms
    image: busybox:1.36
    command: ["sh","-c","chown -R 1000:1000 /data && chmod 750 /data"]
    securityContext:
      runAsUser: 0
    volumeMounts:
    - {name: data, mountPath: /data}
  # 3) 拉配置到共享卷
  - name: fetch-config
    image: curlimages/curl:8.5.0
    command:
    - sh
    - -c
    - curl -fsS http://config-server/app.yaml -o /shared/app.yaml
    volumeMounts:
    - {name: shared, mountPath: /shared}
  containers:
  - name: app
    image: nginx:1.27
    volumeMounts:
    - {name: data, mountPath: /data}
    - {name: shared, mountPath: /etc/app, readOnly: true}
  volumes:
  - name: data
    emptyDir: {}
  - name: shared
    emptyDir: {}

观察 initContainer:
kubectl get pod app-with-init    # STATUS 会显示 Init:0/3、Init:1/3…
kubectl logs app-with-init -c wait-for-db
kubectl describe pod app-with-init | grep -A10 "Init Containers"

注意:initContainer 失败会导致 Pod 一直在 Init 阶段,
日志要用 -c 指定容器名才能看到。

----------------------------------------------------------------
五、生命周期钩子
----------------------------------------------------------------
postStart:容器创建后立即执行(与主进程并行,不保证在 ENTRYPOINT 之前完成)
preStop:容器终止前执行(阻塞,直到完成或超时)

lifecycle:
  postStart:
    exec:
      command: ["sh","-c","echo started >> /tmp/lifecycle.log"]
  preStop:
    exec:
      command: ["sh","-c","sleep 5"]

坑:
- postStart 失败会让容器被杀死重启(它和主进程并行,容易踩竞态)
- postStart 不保证先于 ENTRYPOINT 执行,不要用它做"必须先完成"的初始化——那是 initContainer 的活
- preStop 里有 HTTP 调用但应用已经不再接受请求 → 调用失败(顺序问题)

preStop 也可以发 HTTP:
  preStop:
    httpGet: {path: /shutdown, port: 8080}

----------------------------------------------------------------
六、终止时序(重点,面试和线上事故都在这)
----------------------------------------------------------------
Pod 被删除时发生什么:

t=0    apiserver 把 Pod 标记 deletionTimestamp
       ↓
t=0    同时发生两件事(并行,这是关键):
       (A) Endpoints/EndpointSlice 控制器把该 Pod 从 Service 后端摘除
           然后 kube-proxy 刷新本机规则(其它节点稍后才更新,有延迟)
       (B) kubelet 开始终止容器:执行 preStop → 发 SIGTERM

t=0~   preStop 执行(比如 sleep 5)
t=+5s  发 SIGTERM 给容器主进程(PID 1)
t=+X   应用收到 SIGTERM,停止接收新请求、处理完存量请求、退出
t=gracefulPeriod(默认 30s)到期还没退出 → SIGKILL 强杀

【经典 502 问题】
现象:滚动发布时,少量请求 502/Connection reset。
原因:(A) 和 (B) 并行,不是先摘流量再停容器。
某些节点的 kube-proxy 还没刷新规则,仍然把新请求发给这个 Pod,
而此时容器已经收到 SIGTERM 并停止监听 → 连接被拒。

【解法】preStop sleep 5~10 秒
lifecycle:
  preStop:
    exec:
      command: ["sh","-c","sleep 10"]
这 10 秒让"摘流量"的通知扩散到全部节点(kube-proxy 同步周期通常 1-2 秒),
sleep 结束后才发 SIGTERM,此时已不会有新流量进来。

terminationGracePeriodSeconds 必须大于 preStop 时长:
terminationGracePeriodSeconds: 45     # preStop 10s + 应用排空 30s + 余量

【应用侧还必须做的】
1) 捕获 SIGTERM,停止 accept 新连接
2) 等存量请求处理完(如 Go 的 srv.Shutdown(ctx))
3) 关闭连接池、flush 日志、上报下线
4) 不要在 SIGTERM 后立刻 os.Exit(0)

【不要做的事】
- preStop 里 sleep 太long(如 60s)→ 发布变得极慢
- terminationGracePeriodSeconds 设成 0 → 直接 SIGKILL,一定丢请求
- 无状态服务不需要长 sleep,5s 足够

----------------------------------------------------------------
七、重启策略 restartPolicy
----------------------------------------------------------------
Always     默认,容器退出就重启(Deployment/StatefulSet/DaemonSet)
OnFailure  非 0 退出才重启(Job 常用)
Never      从不重启(Job 一次性任务)

注意:
- restartPolicy 是 Pod 级别的,作用于所有容器
- 裸 Pod 用 Always 且节点挂了 → 不会被迁移(没有控制器)
- Job 的模板里只能 Never 或 OnFailure,写 Always 会被 apiserver 拒绝

重启退避:
10s → 20s → 40s → 80s → 160s → 300s(上限),持续 10 分钟正常运行后重置。

----------------------------------------------------------------
八、kubectl debug:临时容器
----------------------------------------------------------------
场景:业务镜像里没有 bash/curl/tcpdump,distroless 镜像无法 exec。

# 1. 给运行中的 Pod 加一个临时容器(1.23+ 默认开启)
kubectl debug -it <pod> --image=busybox:1.36 --target=<容器名>
# --target 让临时容器共享目标容器的进程命名空间,能看它的进程

# 2. 复制一个 Pod 并改(不碰原 Pod)
kubectl debug <pod> --copy-to=debug-pod --image=busybox:1.36 -it

# 3. 调试节点(在节点上起特权容器,挂宿主根目录)
kubectl debug node/<node-name> -it --image=busybox:1.36
# 容器内 chroot /host 就进入了宿主机文件系统
# 常用于查看 kubelet 日志、CNI 配置、磁盘

临时容器特点:
- 不参与调度(在已有 Pod 里加容器)
- 不受 Pod 的 resources 限制约束(注意别把节点压垮)
- 不能配 ports/probes/lifecycle
- Pod 删除后临时容器也消失

----------------------------------------------------------------
九、sidecar 模式
----------------------------------------------------------------
同一 Pod 内多容器共享网络和卷,常见组合:
1) 日志转发:业务写 /var/log/app.log → sidecar(fluent-bit)读并转发
2) 代理:Envoy/Istio sidecar 拦截流量
3) 配置同步:git-sync 拉配置到共享卷
4) 适配器:把应用指标转成 Prometheus 格式

K8s 1.29+ 原生 sidecar:initContainer 加 restartPolicy: Always
initContainers:
- name: log-shipper
  image: fluent-bit:2.2
  restartPolicy: Always     # 关键:原生 sidecar
  volumeMounts:
  - {name: logs, mountPath: /var/log/app}

好处:sidecar 先于业务容器启动、后于业务容器退出(顺序有保证),
这是普通多容器 Pod 做不到的。

----------------------------------------------------------------
十、Day 07 自检清单
----------------------------------------------------------------
[ ] 能说出 phase 与容器状态的区别
[ ] 能画出 Pod 创建时序,解释 ContainerCreating 卡住的四种原因
[ ] 写一个 initContainer 等 MySQL 就绪的完整 Pod
[ ] 能完整讲出 t=0 时"摘流量"和"发 SIGTERM"是并行的
[ ] 能解释 preStop sleep 为什么能解决 502
[ ] terminationGracePeriodSeconds 与 preStop 的时长关系算得对
[ ] 会用 kubectl debug 给 distroless 容器排障
[ ] 知道原生 sidecar(initContainer + restartPolicy: Always)

常见坑:
- preStop sleep 10 但 terminationGracePeriodSeconds 只有 5 → 5 秒就被 SIGKILL
- 应用不处理 SIGTERM,被 SIGKILL 强杀,请求丢一半
- postStart 里做耗时初始化,导致容器被认为启动失败反复重启
- initContainer 一直失败,Pod 停在 Init,用 kubectl logs 不带 -c 看不到日志
- kubectl debug 临时容器给了 4C8G 请求,把节点挤爆
- 直接把 restartPolicy 改成 Never 期望"不再重启",结果 Pod 变 Failed

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。