挂载云硬盘 PVC 的 Deployment 滚动更新卡住,改成 Recreate 或换存储类型就能解开

举报
yd_92142965 发表于 2026/11/10 14:15:23 2026/11/10
【摘要】 挂载云硬盘 PVC 的 Deployment 滚动更新卡住,改成 Recreate 或换存储类型就能解开在 K8s 集群里,给一个单副本的 Deployment 挂载了云硬盘 PVC,平时跑得好好的,某次改了镜像标签触发滚动更新,新 Pod 却一直卡在 ContainerCreating 状态。用 kubectl describe pod 去看底下的事件列表,能看到一条 FailedAtt...

挂载云硬盘 PVC 的 Deployment 滚动更新卡住,改成 Recreate 或换存储类型就能解开

在 K8s 集群里,给一个单副本的 Deployment 挂载了云硬盘 PVC,平时跑得好好的,某次改了镜像标签触发滚动更新,新 Pod 却一直卡在 ContainerCreating 状态。用 kubectl describe pod 去看底下的事件列表,能看到一条 FailedAttachVolume 报错,提示 Multi-Attach error for volume 或者 Volume is already used by pod(s)。有时候前两次更新明明顺畅得很,偏偏到了第三次就卡死了。

原因不复杂。这是 Deployment 默认的滚动更新逻辑跟块存储的独占挂载限制撞车了。

Deployment 默认的更新策略是 RollingUpdate,里面的 maxUnavailable 和 maxSurge 默认都是 25%。如果 replicas 只有 1,K8s 在换算百分比时会对 maxUnavailable 向下取整算成 0,保证升级期间至少有 1 个可用实例,同时对 maxSurge 向上取整算成 1,允许临时多跑 1 个实例。所以控制器必须先把新 Pod 拉起来,等新 Pod 通过就绪探针变成 Ready 之后,才会去停掉旧 Pod。

偏偏普通云硬盘属于块存储,不支持多节点同时读写。它的 PVC 访问模式通常是限制单节点读写的 ReadWriteOnce,或者是限制单 Pod 读写的 ReadWriteOncePod。如果配的是 ReadWriteOnce,同一块云硬盘同一时刻只能挂到一台宿主机节点上,并不拦同一节点上的多个 Pod,所以前两次更新时,要是新 Pod 碰巧被调度器分到了旧 Pod 所在的那台节点上,更新就能混过去。一旦某次更新新 Pod 被调度到了集群里的另一台节点,新节点再去申请挂载这块还没被旧节点释放的云硬盘,存储控制器就会当场拒绝并抛出 Multi-Attach error。要是 PVC 用的是更严格的 ReadWriteOncePod,那就算新旧 Pod 落在同一台节点上也会被拦住。新 Pod 等旧 Pod 放盘,旧 Pod 等新 Pod 就绪。两边直接死锁。

单副本运行、平时只拿云硬盘存点持久化数据的服务,升级时能接受几秒钟的停机窗口,我一般直接把 Deployment 的更新策略从默认的 RollingUpdate 改成 Recreate。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-demo
spec:
  replicas: 1
  strategy:
    type: Recreate

改成 Recreate 之后,控制器在更新时会先彻底停掉旧 Pod,等旧 Pod 完全退出、云硬盘从原节点解绑,再去创建新 Pod。不过用 kubectl edit deployment 直接在线改已有工作负载的 YAML 时有个小坑,把 type 改成 Recreate 的同时,还得顺手把原本 strategy 底下自动生成的 rollingUpdate 字段整块删掉,不然 K8s 接口校验会直接报 may not be specified when strategy 'type' is 'Recreate' 错误,根本保存不进去。

碰到需要跑多个副本、每个实例各自挂一块独立云硬盘的服务,再用 Deployment 共享同一个 PVC 就走不通了,这种直接用 StatefulSet 配合 volumeClaimTemplates。StatefulSet 会给 app-0、app-1 每个实例分别创建并绑定各自专属的云硬盘 PVC,而且它在更新单个实例时天生就是先停旧 Pod 再起新 Pod,不会抢同一块盘。

至于多个副本确实要跨节点同时读写同一个目录的场景,单改 YAML 策略没用。这已经超出了普通块存储云硬盘的能力边界,得把底层存储换成支持 ReadWriteMany 的 NFS 文件存储,让多个节点通过网络文件系统协议共享同一个挂载点。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。