DAY 09 —— 调度约束:标签、亲和性、污点

举报
yd_268505900 发表于 2026/11/15 10:48:15 2026/11/15
【摘要】 DAY 09 —— 调度约束:标签、亲和性、污点

================================================================
DAY 09 —— 调度约束:标签、亲和性、污点
================================================================
【学习目标】
1. 理解调度器 Filter / Score 两阶段
2. 会用 nodeSelector、nodeAffinity(硬/软)
3. 会用 podAffinity / podAntiAffinity / topologySpread
4. 掌握污点与容忍的匹配规则
5. 能读懂 FailedScheduling 事件并定位原因

----------------------------------------------------------------
一、调度器怎么选节点
----------------------------------------------------------------
kube-scheduler 对一个 Pending 的 Pod 做两件事:

Filter(过滤):排除不满足硬性条件的节点
  - 资源是否够(Allocatable - 已 requests >= 本 Pod requests)
  - 节点是否有 NoSchedule 污点且 Pod 不容忍
  - nodeSelector / nodeAffinity required 是否匹配
  - podAffinity / podAntiAffinity 硬性规则
  - 卷拓扑(PV 绑在哪个可用区)
  - hostPort 是否冲突
  - 节点是否 Ready、是否被 cordon

Score(打分):对剩下的节点排序
  - 资源均衡(LeastAllocated 优先选空闲的)
  - 软性亲和性权重
  - 拓扑打散(ImageLocality 镜像已在节点上加分)
  - 选最高分;同分随机 → 这就是"为什么 Pod 分布看起来随机"

手动指定节点(跳过调度器):
spec.nodeName: node1
副作用:绕过所有过滤规则,可能把 Pod 塞到资源不足的节点。只在特殊场景用。

----------------------------------------------------------------
二、标签与选择器基础
----------------------------------------------------------------
给节点打标签:
kubectl label node node1 disktype=ssd
kubectl label node node1 zone=az-a
kubectl get nodes --show-labels
kubectl label node node1 disktype-        # 删除标签(末尾加减号)

给 Pod 打标签(创建时):
metadata:
  labels:
    app: web
    version: v1

选择器两种写法:
matchLabels(精确匹配,AND)
  selector:
    matchLabels:
      app: web
      version: v1

matchExpressions(支持操作符)
  selector:
    matchExpressions:
    - {key: app, operator: In, values: [web, api]}
    - {key: env, operator: NotIn, values: [dev]}
    - {key: canary, operator: Exists}
    - {key: tier, operator: DoesNotExist}

操作符:In / NotIn / Exists / DoesNotExist / Gt / Lt(后两个只用于节点亲和)

命令行查询:
kubectl get pod -l app=web
kubectl get pod -l 'env in (prod,staging)'
kubectl get pod -l app=web,tier=frontend
kubectl get pod -L app,version        # 显示标签列

----------------------------------------------------------------
三、nodeSelector(最简单)
----------------------------------------------------------------
spec:
  nodeSelector:
    disktype: ssd
    zone: az-a
语义:AND,节点必须同时有这些标签。
缺点:只能精确匹配,不能表达"至少 4 核""在 az-a 或 az-b"。
适用:简单固定的场景(GPU 节点、特定机型)。

----------------------------------------------------------------
四、nodeAffinity(推荐)
----------------------------------------------------------------
【硬性:必须满足,否则 Pending】
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: kubernetes.io/arch
            operator: In
            values: ["amd64"]
          - key: node-type
            operator: In
            values: ["compute"]
        # 多个 nodeSelectorTerm 之间是 OR,term 内部是 AND

【软性:尽量满足,不满足也能调度】
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 80                    # 1-100,越大越优先
        preference:
          matchExpressions:
          - key: zone
            operator: In
            values: ["az-a"]
      - weight: 20
        preference:
          matchExpressions:
          - key: disktype
            operator: In
            values: ["ssd"]

【名字里的含义】
required...IgnoredDuringExecution:
  调度时必须满足;运行期间节点标签变了也不会驱逐 Pod。
  (曾有 RequiredDuringExecution,未实现)
preferred...IgnoredDuringExecution:
  调度时尽量满足;运行期标签变化不管。

【常用内置标签】
kubernetes.io/hostname        节点名
kubernetes.io/os              linux
kubernetes.io/arch            amd64/arm64
topology.kubernetes.io/zone   可用区
topology.kubernetes.io/region 地域
node.kubernetes.io/instance-type  机型

----------------------------------------------------------------
五、Pod 亲和与反亲和
----------------------------------------------------------------
【反亲和:把同类 Pod 打散(高可用必备)】
spec:
  affinity:
    podAntiAffinity:
      # 硬性:同节点绝对不能有两个 app=web
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchLabels:
            app: web
        topologyKey: kubernetes.io/hostname
        # 只要节点数 < 副本数,多出来的 Pod 就永远 Pending

      # 软性:尽量打散(推荐,不会 Pending)
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        podAffinityTerm:
          labelSelector:
            matchLabels:
              app: web
          topologyKey: kubernetes.io/hostname

【亲和:把相关 Pod 放近(降低延迟)】
      podAffinity:
        preferredDuringSchedulingIgnoredDuringExecution:
        - weight: 80
          podAffinityTerm:
            labelSelector:
              matchLabels: {app: cache}
            topologyKey: kubernetes.io/hostname

【topologyKey 决定"打散到什么粒度"】
kubernetes.io/hostname           按节点(最常用)
topology.kubernetes.io/zone      按可用区
自定义如 rack / switch

【重要限制】
required 的 podAntiAffinity 在节点数不足时会造成 Pending。
3 副本 + 硬反亲和 + 只有 2 个节点 = 1 个 Pod 永远 Pending。
生产一般用 preferred 或 topologySpreadConstraints。

另外:Pod 亲和性需要节点上有对应的标签(topologyKey),
kubelet 会自动给节点打 hostname/zone 等标签。

----------------------------------------------------------------
六、拓扑打散 topologySpreadConstraints(1.19+ 推荐)
----------------------------------------------------------------
比 podAntiAffinity 更细,可以控制"最大偏差"。

spec:
  topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: kubernetes.io/hostname
    whenUnsatisfiable: DoNotSchedule      # 或 ScheduleAnyway(软性)
    labelSelector:
      matchLabels:
        app: web
    # 可选:minDomains: 3
    # 可选:matchLabelKeys: [pod-template-hash]  # 1.27+,按版本打散

语义:各拓扑域之间,app=web 的 Pod 数量差不超过 1。

【三种约束的取舍】
nodeSelector/nodeAffinity:决定"能去哪"
podAntiAffinity:决定"不能和谁在一起"
topologySpread:决定"分布得多均匀"(推荐用于多副本打散)

----------------------------------------------------------------
七、污点与容忍
----------------------------------------------------------------
污点(taint)在节点上:表示"我不欢迎 Pod"
容忍(toleration)在 Pod 上:表示"我不在乎这个污点"

【三种 effect】
NoSchedule       新 Pod 不能调度上来(已有 Pod 不受影响)
PreferNoSchedule 尽量不调度(软性)
NoExecute        不能调度上来,且已有的不容忍的 Pod 会被驱逐

【打污点】
kubectl taint nodes node1 dedicated=gpu:NoSchedule
kubectl taint nodes node1 key=value:NoExecute
kubectl taint nodes node1 key:NoSchedule              # 只有 key,无 value
kubectl taint nodes node1 dedicated=gpu:NoSchedule-   # 删除(末尾减号)
kubectl describe node node1 | grep Taints

【容忍匹配规则】
tolerations:
- key: dedicated
  operator: Equal
  value: gpu
  effect: NoSchedule
匹配:key 相同 + value 相同 + effect 相同

- key: dedicated
  operator: Exists           # 不校验 value,key 存在即可
  effect: NoSchedule

- operator: Exists           # 空 key + Exists = 容忍所有污点(慎用)
  effect: NoExecute
  tolerationSeconds: 3600    # NoExecute 时可指定容忍时长

【关键理解】
容忍 ≠ 强制调度到该节点。容忍只是"不被拒绝"。
要让 Pod 一定落在 GPU 节点,还需要 nodeSelector/nodeAffinity 指向它。

【内置污点】
node.kubernetes.io/not-ready
node.kubernetes.io/unreachable
node.kubernetes.io/disk-pressure
node.kubernetes.io/memory-pressure
node.kubernetes.io/pid-pressure
node.kubernetes.io/unschedulable      # cordon 后出现
node.kubernetes.io/network-unavailable

DaemonSet 会自动获得这些容忍,所以能跑在有问题的节点上(用于修复)。

【master 节点】
kubeadm 默认给 master 打:
node-role.kubernetes.io/control-plane:NoSchedule

让 DaemonSet 覆盖 master:
tolerations:
- key: node-role.kubernetes.io/control-plane
  operator: Exists
  effect: NoSchedule

单机实验允许业务上 master:
kubectl taint nodes --all node-role.kubernetes.io/control-plane-

----------------------------------------------------------------
八、PriorityClass 与抢占
----------------------------------------------------------------
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
globalDefault: false
preemptionPolicy: PreemptLowerPriority
description: "核心业务"

Pod 引用:
spec:
  priorityClassName: high-priority

抢占机制:
高优先级 Pod 调度不上去时,调度器会驱逐低优先级的 Pod 腾出资源。
被抢占的 Pod 会被正常终止(走优雅退出),其控制器会重新创建(可能又 Pending)。

内置两个:
system-cluster-critical  (2000000000)
system-node-critical     (2000000001)   # CNI/kube-proxy 用

生产建议:给核心业务设高优先级,避免被批处理任务挤掉。

----------------------------------------------------------------
九、排障:FailedScheduling 事件解读
----------------------------------------------------------------
kubectl get pod <p> -o wide
kubectl describe pod <p> | tail -20

典型事件原文与含义:

1) "0/3 nodes are available: 3 Insufficient cpu."
   → 所有节点 CPU requests 不够。看 kubectl describe node 的 Allocated。

2) "0/3 nodes are available: 3 node(s) had untolerated taint {node-role.kubernetes.io/control-plane: }."
   → 全是要带污点的 master,加 toleration 或去掉污点。

3) "0/3 nodes are available: 3 node(s) didn't match Pod's node affinity/selector."
   → 标签写错或节点没打标签。kubectl get nodes --show-labels 对照。

4) "0/2 nodes are available: 2 node(s) didn't match pod anti-affinity rules."
   → 副本数 > 可用节点数,改用 preferred 或加节点。

5) "0/3 nodes are available: 3 node(s) had volume node affinity conflict."
   → PV 在 az-a,Pod 被调度到 az-b 的节点。

6) "0/3 nodes are available: 3 node(s) were unschedulable."
   → 节点被 cordon 了。kubectl uncordon <node>。

7) "pod has unbound immediate PersistentVolumeClaims"
   → PVC 没绑上(Day 05 的问题),不是调度问题。

【常用命令】
kubectl get pod <p> -o jsonpath='{.status.conditions[?(@.type=="PodScheduled")].message}'
kubectl get events --field-selector involvedObject.name=<p> --sort-by=.lastTimestamp
kubectl describe node <n> | grep -E "Allocated|Taints|Unschedulable"

----------------------------------------------------------------
十、Day 09 自检清单
----------------------------------------------------------------
[ ] 能说出 Filter 阶段会排除哪几类节点
[ ] 会写硬性和软性 nodeAffinity,知道 operator 有哪些
[ ] 能用 topologySpreadConstraints 把 3 副本打散到 3 节点
[ ] 能解释"容忍不等于强制调度"
[ ] 会给节点打污点/去污点,会写 toleration
[ ] 能读懂五种 FailedScheduling 事件原文
[ ] 知道 required podAntiAffinity 会导致 Pending

常见坑:
- 只写 toleration 没写 nodeAffinity,Pod 还是可能跑到普通节点
- podAntiAffinity 用 required,副本数超过节点数 → 永远 Pending
- topologyKey 写了个节点上不存在的标签 → 调度行为异常
- 打了 NoExecute 污点,把正在跑的业务全驱逐了
- cordon 之后忘了 uncordon,新 Pod 全 Pending
- 用了 nodeName 绕过调度器,Pod 资源不足一直崩

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。