DAY 09 —— 调度约束:标签、亲和性、污点
================================================================
DAY 09 —— 调度约束:标签、亲和性、污点
================================================================
【学习目标】
1. 理解调度器 Filter / Score 两阶段
2. 会用 nodeSelector、nodeAffinity(硬/软)
3. 会用 podAffinity / podAntiAffinity / topologySpread
4. 掌握污点与容忍的匹配规则
5. 能读懂 FailedScheduling 事件并定位原因
----------------------------------------------------------------
一、调度器怎么选节点
----------------------------------------------------------------
kube-scheduler 对一个 Pending 的 Pod 做两件事:
Filter(过滤):排除不满足硬性条件的节点
- 资源是否够(Allocatable - 已 requests >= 本 Pod requests)
- 节点是否有 NoSchedule 污点且 Pod 不容忍
- nodeSelector / nodeAffinity required 是否匹配
- podAffinity / podAntiAffinity 硬性规则
- 卷拓扑(PV 绑在哪个可用区)
- hostPort 是否冲突
- 节点是否 Ready、是否被 cordon
Score(打分):对剩下的节点排序
- 资源均衡(LeastAllocated 优先选空闲的)
- 软性亲和性权重
- 拓扑打散(ImageLocality 镜像已在节点上加分)
- 选最高分;同分随机 → 这就是"为什么 Pod 分布看起来随机"
手动指定节点(跳过调度器):
spec.nodeName: node1
副作用:绕过所有过滤规则,可能把 Pod 塞到资源不足的节点。只在特殊场景用。
----------------------------------------------------------------
二、标签与选择器基础
----------------------------------------------------------------
给节点打标签:
kubectl label node node1 disktype=ssd
kubectl label node node1 zone=az-a
kubectl get nodes --show-labels
kubectl label node node1 disktype- # 删除标签(末尾加减号)
给 Pod 打标签(创建时):
metadata:
labels:
app: web
version: v1
选择器两种写法:
matchLabels(精确匹配,AND)
selector:
matchLabels:
app: web
version: v1
matchExpressions(支持操作符)
selector:
matchExpressions:
- {key: app, operator: In, values: [web, api]}
- {key: env, operator: NotIn, values: [dev]}
- {key: canary, operator: Exists}
- {key: tier, operator: DoesNotExist}
操作符:In / NotIn / Exists / DoesNotExist / Gt / Lt(后两个只用于节点亲和)
命令行查询:
kubectl get pod -l app=web
kubectl get pod -l 'env in (prod,staging)'
kubectl get pod -l app=web,tier=frontend
kubectl get pod -L app,version # 显示标签列
----------------------------------------------------------------
三、nodeSelector(最简单)
----------------------------------------------------------------
spec:
nodeSelector:
disktype: ssd
zone: az-a
语义:AND,节点必须同时有这些标签。
缺点:只能精确匹配,不能表达"至少 4 核""在 az-a 或 az-b"。
适用:简单固定的场景(GPU 节点、特定机型)。
----------------------------------------------------------------
四、nodeAffinity(推荐)
----------------------------------------------------------------
【硬性:必须满足,否则 Pending】
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/arch
operator: In
values: ["amd64"]
- key: node-type
operator: In
values: ["compute"]
# 多个 nodeSelectorTerm 之间是 OR,term 内部是 AND
【软性:尽量满足,不满足也能调度】
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 80 # 1-100,越大越优先
preference:
matchExpressions:
- key: zone
operator: In
values: ["az-a"]
- weight: 20
preference:
matchExpressions:
- key: disktype
operator: In
values: ["ssd"]
【名字里的含义】
required...IgnoredDuringExecution:
调度时必须满足;运行期间节点标签变了也不会驱逐 Pod。
(曾有 RequiredDuringExecution,未实现)
preferred...IgnoredDuringExecution:
调度时尽量满足;运行期标签变化不管。
【常用内置标签】
kubernetes.io/hostname 节点名
kubernetes.io/os linux
kubernetes.io/arch amd64/arm64
topology.kubernetes.io/zone 可用区
topology.kubernetes.io/region 地域
node.kubernetes.io/instance-type 机型
----------------------------------------------------------------
五、Pod 亲和与反亲和
----------------------------------------------------------------
【反亲和:把同类 Pod 打散(高可用必备)】
spec:
affinity:
podAntiAffinity:
# 硬性:同节点绝对不能有两个 app=web
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels:
app: web
topologyKey: kubernetes.io/hostname
# 只要节点数 < 副本数,多出来的 Pod 就永远 Pending
# 软性:尽量打散(推荐,不会 Pending)
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
podAffinityTerm:
labelSelector:
matchLabels:
app: web
topologyKey: kubernetes.io/hostname
【亲和:把相关 Pod 放近(降低延迟)】
podAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 80
podAffinityTerm:
labelSelector:
matchLabels: {app: cache}
topologyKey: kubernetes.io/hostname
【topologyKey 决定"打散到什么粒度"】
kubernetes.io/hostname 按节点(最常用)
topology.kubernetes.io/zone 按可用区
自定义如 rack / switch
【重要限制】
required 的 podAntiAffinity 在节点数不足时会造成 Pending。
3 副本 + 硬反亲和 + 只有 2 个节点 = 1 个 Pod 永远 Pending。
生产一般用 preferred 或 topologySpreadConstraints。
另外:Pod 亲和性需要节点上有对应的标签(topologyKey),
kubelet 会自动给节点打 hostname/zone 等标签。
----------------------------------------------------------------
六、拓扑打散 topologySpreadConstraints(1.19+ 推荐)
----------------------------------------------------------------
比 podAntiAffinity 更细,可以控制"最大偏差"。
spec:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: DoNotSchedule # 或 ScheduleAnyway(软性)
labelSelector:
matchLabels:
app: web
# 可选:minDomains: 3
# 可选:matchLabelKeys: [pod-template-hash] # 1.27+,按版本打散
语义:各拓扑域之间,app=web 的 Pod 数量差不超过 1。
【三种约束的取舍】
nodeSelector/nodeAffinity:决定"能去哪"
podAntiAffinity:决定"不能和谁在一起"
topologySpread:决定"分布得多均匀"(推荐用于多副本打散)
----------------------------------------------------------------
七、污点与容忍
----------------------------------------------------------------
污点(taint)在节点上:表示"我不欢迎 Pod"
容忍(toleration)在 Pod 上:表示"我不在乎这个污点"
【三种 effect】
NoSchedule 新 Pod 不能调度上来(已有 Pod 不受影响)
PreferNoSchedule 尽量不调度(软性)
NoExecute 不能调度上来,且已有的不容忍的 Pod 会被驱逐
【打污点】
kubectl taint nodes node1 dedicated=gpu:NoSchedule
kubectl taint nodes node1 key=value:NoExecute
kubectl taint nodes node1 key:NoSchedule # 只有 key,无 value
kubectl taint nodes node1 dedicated=gpu:NoSchedule- # 删除(末尾减号)
kubectl describe node node1 | grep Taints
【容忍匹配规则】
tolerations:
- key: dedicated
operator: Equal
value: gpu
effect: NoSchedule
匹配:key 相同 + value 相同 + effect 相同
- key: dedicated
operator: Exists # 不校验 value,key 存在即可
effect: NoSchedule
- operator: Exists # 空 key + Exists = 容忍所有污点(慎用)
effect: NoExecute
tolerationSeconds: 3600 # NoExecute 时可指定容忍时长
【关键理解】
容忍 ≠ 强制调度到该节点。容忍只是"不被拒绝"。
要让 Pod 一定落在 GPU 节点,还需要 nodeSelector/nodeAffinity 指向它。
【内置污点】
node.kubernetes.io/not-ready
node.kubernetes.io/unreachable
node.kubernetes.io/disk-pressure
node.kubernetes.io/memory-pressure
node.kubernetes.io/pid-pressure
node.kubernetes.io/unschedulable # cordon 后出现
node.kubernetes.io/network-unavailable
DaemonSet 会自动获得这些容忍,所以能跑在有问题的节点上(用于修复)。
【master 节点】
kubeadm 默认给 master 打:
node-role.kubernetes.io/control-plane:NoSchedule
让 DaemonSet 覆盖 master:
tolerations:
- key: node-role.kubernetes.io/control-plane
operator: Exists
effect: NoSchedule
单机实验允许业务上 master:
kubectl taint nodes --all node-role.kubernetes.io/control-plane-
----------------------------------------------------------------
八、PriorityClass 与抢占
----------------------------------------------------------------
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: high-priority
value: 1000000
globalDefault: false
preemptionPolicy: PreemptLowerPriority
description: "核心业务"
Pod 引用:
spec:
priorityClassName: high-priority
抢占机制:
高优先级 Pod 调度不上去时,调度器会驱逐低优先级的 Pod 腾出资源。
被抢占的 Pod 会被正常终止(走优雅退出),其控制器会重新创建(可能又 Pending)。
内置两个:
system-cluster-critical (2000000000)
system-node-critical (2000000001) # CNI/kube-proxy 用
生产建议:给核心业务设高优先级,避免被批处理任务挤掉。
----------------------------------------------------------------
九、排障:FailedScheduling 事件解读
----------------------------------------------------------------
kubectl get pod <p> -o wide
kubectl describe pod <p> | tail -20
典型事件原文与含义:
1) "0/3 nodes are available: 3 Insufficient cpu."
→ 所有节点 CPU requests 不够。看 kubectl describe node 的 Allocated。
2) "0/3 nodes are available: 3 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }."
→ 全是要带污点的 master,加 toleration 或去掉污点。
3) "0/3 nodes are available: 3 node(s) didn't match Pod's node affinity/selector."
→ 标签写错或节点没打标签。kubectl get nodes --show-labels 对照。
4) "0/2 nodes are available: 2 node(s) didn't match pod anti-affinity rules."
→ 副本数 > 可用节点数,改用 preferred 或加节点。
5) "0/3 nodes are available: 3 node(s) had volume node affinity conflict."
→ PV 在 az-a,Pod 被调度到 az-b 的节点。
6) "0/3 nodes are available: 3 node(s) were unschedulable."
→ 节点被 cordon 了。kubectl uncordon <node>。
7) "pod has unbound immediate PersistentVolumeClaims"
→ PVC 没绑上(Day 05 的问题),不是调度问题。
【常用命令】
kubectl get pod <p> -o jsonpath='{.status.conditions[?(@.type=="PodScheduled")].message}'
kubectl get events --field-selector involvedObject.name=<p> --sort-by=.lastTimestamp
kubectl describe node <n> | grep -E "Allocated|Taints|Unschedulable"
----------------------------------------------------------------
十、Day 09 自检清单
----------------------------------------------------------------
[ ] 能说出 Filter 阶段会排除哪几类节点
[ ] 会写硬性和软性 nodeAffinity,知道 operator 有哪些
[ ] 能用 topologySpreadConstraints 把 3 副本打散到 3 节点
[ ] 能解释"容忍不等于强制调度"
[ ] 会给节点打污点/去污点,会写 toleration
[ ] 能读懂五种 FailedScheduling 事件原文
[ ] 知道 required podAntiAffinity 会导致 Pending
常见坑:
- 只写 toleration 没写 nodeAffinity,Pod 还是可能跑到普通节点
- podAntiAffinity 用 required,副本数超过节点数 → 永远 Pending
- topologyKey 写了个节点上不存在的标签 → 调度行为异常
- 打了 NoExecute 污点,把正在跑的业务全驱逐了
- cordon 之后忘了 uncordon,新 Pod 全 Pending
- 用了 nodeName 绕过调度器,Pod 资源不足一直崩
- 点赞
- 收藏
- 关注作者
评论(0)