DAY 10 —— StatefulSet 有状态应用
================================================================
DAY 10 —— StatefulSet 有状态应用
================================================================
【学习目标】
1. 说清 StatefulSet 与 Deployment 的三个本质差异
2. 理解稳定网络标识的实现(Headless + 域名规则)
3. 掌握 volumeClaimTemplates 与 PVC 生命周期
4. 会做 partition 灰度升级
5. 判断什么该用 StatefulSet、什么该用 Operator
----------------------------------------------------------------
一、Deployment 为什么不够
----------------------------------------------------------------
Deployment 管的是"无差别副本":
- Pod 名字随机(web-7d9f8b6c5-x2k4l)
- 网络标识不固定(重建就换名换 IP)
- 存储只能共享一个 PVC(不能每副本一块独立盘)
- 创建/删除无顺序
对有状态应用是致命的:
MySQL 主从需要知道"我是 0 号还是 1 号",Kafka 需要 broker.id 固定,
ZK 选主需要按序号互相发现。
StatefulSet 给三个"稳定":
1) 稳定网络标识:<pod-name>.<svc-name>.<ns>.svc.cluster.local
2) 稳定存储:每副本独立 PVC,删 Pod 不删盘
3) 稳定顺序:0→N-1 依次创建,N-1→0 逆序删除
----------------------------------------------------------------
二、必须配 Headless Service
----------------------------------------------------------------
StatefulSet 的 serviceName 必须指向一个 clusterIP: None 的 Service。
apiVersion: v1
kind: Service
metadata:
name: redis
labels: {app: redis}
spec:
clusterIP: None
selector: {app: redis}
ports:
- port: 6379
name: redis
publishNotReadyAddresses: true # 启动阶段就能互相解析(选主需要)
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: redis
spec:
serviceName: redis # ← 就是上面这个 Headless Service 的名字
replicas: 3
selector:
matchLabels: {app: redis}
template:
metadata:
labels: {app: redis}
spec:
containers:
- name: redis
image: redis:7.2
ports:
- {name: redis, containerPort: 6379}
volumeMounts:
- {name: data, mountPath: /data}
resources:
requests: {cpu: 100m, memory: 256Mi}
volumeClaimTemplates:
- metadata:
name: data
spec:
accessModes: ["ReadWriteOnce"]
storageClassName: local-path
resources:
requests: {storage: 1Gi}
【生成的 DNS 记录】
redis-0.redis.default.svc.cluster.local → redis-0 的 Pod IP
redis-1.redis.default.svc.cluster.local → redis-1 的 Pod IP
redis-2.redis.default.svc.cluster.local → redis-2 的 Pod IP
redis.default.svc.cluster.local → 所有 Pod IP(Headless)
Pod 的 hostname 就是 redis-0/1/2,subdomain 是 redis,所以域名自动成立。
验证:
kubectl run d --rm -it --image=busybox:1.36 --restart=Never -- \
nslookup redis-0.redis.default.svc.cluster.local
kubectl run d --rm -it --image=busybox:1.36 --restart=Never -- \
nslookup redis.default.svc.cluster.local # 返回 3 个 IP
----------------------------------------------------------------
三、PVC 生命周期(最重要)
----------------------------------------------------------------
volumeClaimTemplates 生成的 PVC:<模板名>-<sts名>-<序号>
data-redis-0
data-redis-1
data-redis-2
【行为表】
操作 结果
-------------------------- ----------------------------------------
删 Pod(redis-1) PVC 保留;重建的 redis-1 挂回原 PVC → 数据在
缩容 3→1 redis-2、redis-1 的 Pod 删除,PVC 保留 → 数据在
扩容 1→3 新建 Pod 和 PVC
删 StatefulSet PVC 全部保留(K8s 1.27+ 有 persistentVolumeClaimRetentionPolicy 可改)
删 PVC 数据才真正消失(看 reclaimPolicy)
删 Namespace PVC 一起删 → 数据丢(危险操作)
【1.27+ 自动清理(可选)】
spec:
persistentVolumeClaimRetentionPolicy:
whenDeleted: Retain # 删 STS 时:Retain/Delete
whenScaled: Retain # 缩容时:Retain/Delete
默认都是 Retain(安全)。批处理类任务可设 Delete。
实操验证:
kubectl apply -f sts.yaml
kubectl get pods,pvc -l app=redis -w
# 观察创建顺序:redis-0 Running 之后才创建 redis-1
kubectl exec redis-0 -- redis-cli set k v
kubectl delete pod redis-0
kubectl get pod redis-0 -w # 重新创建,同名
kubectl exec redis-0 -- redis-cli get k # 值还在 → 持久化成功
----------------------------------------------------------------
四、有序性控制
----------------------------------------------------------------
默认 podManagementPolicy: OrderedReady
- 创建:0 号 Ready 后才创建 1 号,依次
- 删除:从最大序号开始,前一个删除完成才删下一个
- 扩容:末尾追加
改成并行(加快启动,适合无启动依赖的场景):
spec:
podManagementPolicy: Parallel
注意:即使 Parallel,Pod 名字和 PVC 依然稳定。
----------------------------------------------------------------
五、滚动更新与 partition 灰度
----------------------------------------------------------------
spec:
updateStrategy:
type: RollingUpdate
rollingUpdate:
partition: 0 # 序号 >= partition 的才更新
partition 语义:
partition=2,副本 5 → 只有 redis-2/3/4 更新,redis-0/1 保持旧版本
(注意:更新方向是从大序号到小序号)
灰度流程:
1) 全部旧版本:partition = replicas(3)
2) 上线新版本:把 partition 调到 2 → 只有 redis-2 更新
3) 验证 redis-2 正常(数据、日志、指标)
4) 逐步降到 1、0,全量更新
5) 出问题:把 partition 调回 3 → 但已更新的 Pod 不会自动回滚!
【重要】partition 不能回滚已更新的 Pod。
StatefulSet 的 rollout undo 能力弱于 Deployment。
生产做法:先备份数据 + 蓝绿(新 StatefulSet + 数据迁移),或依赖 Operator。
命令:
kubectl rollout status sts/redis
kubectl rollout history sts/redis
kubectl rollout undo sts/redis --to-revision=2
onDelete 策略(手动控制,每次只删一个):
updateStrategy:
type: OnDelete
# 然后手动 kubectl delete pod redis-2,重建时用新模板
----------------------------------------------------------------
六、实操:3 副本 Redis 集群(简化版)
----------------------------------------------------------------
cat > redis-sts.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata: {name: redis-conf}
data:
redis.conf: |
appendonly yes
dir /data
---
apiVersion: v1
kind: Service
metadata: {name: redis}
spec:
clusterIP: None
selector: {app: redis}
ports: [{port: 6379, name: redis}]
publishNotReadyAddresses: true
---
apiVersion: apps/v1
kind: StatefulSet
metadata: {name: redis}
spec:
serviceName: redis
replicas: 3
selector: {matchLabels: {app: redis}}
template:
metadata:
labels: {app: redis}
spec:
containers:
- name: redis
image: redis:7.2
command: ["redis-server","/etc/redis/redis.conf"]
ports: [{name: redis, containerPort: 6379}]
volumeMounts:
- {name: data, mountPath: /data}
- {name: conf, mountPath: /etc/redis}
readinessProbe:
exec: {command: ["redis-cli","ping"]}
initialDelaySeconds: 5
periodSeconds: 5
resources:
requests: {cpu: 100m, memory: 256Mi}
limits: {memory: 512Mi}
volumes:
- name: conf
configMap: {name: redis-conf}
volumeClaimTemplates:
- metadata: {name: data}
spec:
accessModes: ["ReadWriteOnce"]
storageClassName: local-path
resources: {requests: {storage: 1Gi}}
EOF
kubectl apply -f redis-sts.yaml
kubectl get sts,pod,pvc -l app=redis
kubectl rollout status sts/redis
# 验证集群内互访
kubectl exec -it redis-0 -- sh
redis-cli -h redis-1.redis ping
redis-cli -h redis-2.redis ping
# 验证持久化
kubectl exec redis-0 -- redis-cli set foo bar
kubectl delete pod redis-0
kubectl wait --for=condition=Ready pod/redis-0 --timeout=120s
kubectl exec redis-0 -- redis-cli get foo # bar
----------------------------------------------------------------
七、扩缩容注意事项
----------------------------------------------------------------
扩容:
kubectl scale sts redis --replicas=5
新 Pod 从 3、4 开始创建,各自新建 PVC。
缩容:
kubectl scale sts redis --replicas=2
从 4 开始逆序删除 Pod,PVC 保留。
【缩容前必须做的】
1) 数据再平衡(Redis Cluster 的 slot 迁移、Kafka 的分区迁移)
2) 确认没有客户端还在连即将删除的节点
3) 备份 PVC
【缩容后再扩容】
新 Pod 会重建(redis-3/4),并挂回原来的 PVC(如果还在)→ 数据自动回来。
但如果之前手动删了 PVC,就是空盘,需要重新同步数据。
----------------------------------------------------------------
八、什么时候不该用 StatefulSet
----------------------------------------------------------------
StatefulSet 只解决"标识和存储稳定",不解决:
- 主从选举
- 数据复制
- 故障切换
- 备份恢复
- 版本升级时的数据兼容
这些都需要应用自己或 Operator 做。
【生产建议】
- MySQL/PostgreSQL → 用 Operator(如 Percona XtraDB、CloudNativePG)
- Kafka → Strimzi Operator
- Elasticsearch → ECK Operator
- Redis Cluster → 用 Operator 或托管服务
- 自建 StatefulSet 只适合:简单的单实例主库 + 外部只读副本,
或者能自己处理选主的应用
【评估清单】
□ 应用支持通过 DNS 名字发现成员吗
□ 支持优雅关闭(flush 数据到盘)吗
□ 支持从已有数据目录恢复吗
□ 有版本间数据格式兼容策略吗
□ 有备份方案(不是只有 PVC)吗
只要有一项没有,就先别上 K8s,或用 Operator。
----------------------------------------------------------------
九、Day 10 自检清单
----------------------------------------------------------------
[ ] 能说出 StatefulSet 与 Deployment 的三个本质差异
[ ] 能解释为什么必须配 Headless Service
[ ] 能写出 redis-0.redis.default.svc.cluster.local 这种域名的来源
[ ] 验证过"删 Pod 数据还在、删 PVC 数据才没"
[ ] 会用 partition 做灰度升级
[ ] 知道 partition 不能回滚已更新的 Pod
[ ] 能判断一个应用该不该用 StatefulSet
常见坑:
- serviceName 指向普通 ClusterIP Service → 域名解析不出 Pod IP
- 忘了 publishNotReadyAddresses,集群成员启动时互相找不到,卡死
- 缩容后看到 PVC 还在,以为没删干净,手动删了 → 数据丢失
- 改 volumeClaimTemplates 的 storage 大小不生效(PVC 已创建,改模板无效)
要扩容必须直接 patch PVC
- local-path 存储 + Pod 漂移 → 新节点挂不上旧盘(本地盘只能同节点)
- 删除 StatefulSet 时用了 --cascade=orphan 又重建,副本数对不上
- 点赞
- 收藏
- 关注作者
评论(0)