AI 训练跑不满 GPU?Kubernetes 成组调度与拓扑感知放置让算力不再空转
原文信息:本文译自《Gang scheduling and topology-aware placement for AI training in Kubernetes》,作者 David Lentz(DataDog),发布于 2026 年 11 月 12 日。原文链接:https://www.cncf.io/blog/2026/11/12/gang-scheduling-and-topology-aware-placement-for-ai-training-in-kubernetes/ (纯文本)。原文采用 CC BY 4.0 许可。本文为翻译,译者在文末补充了译者注。
译者导语:GPU 集群越贵,调度越不能将就。Kubernetes 一次只排一个 Pod 的老办法,碰上分布式训练就露了馅:要么 Pod 散落在跨机架的慢链路上互相干等,要么一半 Pod 跑起来、另一半还在等资源,GPU 空转烧钱。下面是 Datadog 工程师 David Lentz 发表在 CNCF 博客上的文章,讲 Kueue 和 Coscheduling 怎么把这两件事补齐,以及怎么验证它们真的在起作用。
(原文配图:分布式训练任务从提交到 Pod 绑定的路径示意图,见原文链接)
分布式 AI 训练对调度提出了两点复杂要求,Kubernetes 内置的调度器满足不了。Kubernetes 调度 Pod 是一个一个、彼此独立地排,可分布式训练打破了这个模型,有两条硬要求:Pod 必须落在 GPU 之间带宽合适的硬件上,而且所有 Pod 必须同时调度到位。哪一条没满足,训练要么停摆,要么远低于硬件应有的速度。
拓扑感知调度(TAS,Topology-Aware Scheduling)和成组调度(gang scheduling)正好对应这两条要求,帮企业把 GPU 算力的价值充分榨出来——而 GPU 在基础设施开支里的占比还在不断上升。TAS 管 Pod 之间的相对位置,让 GPU 之间的通信跑得快;成组调度保证一个分布式任务的所有 Pod 同时开始运行,避免那种“只启动一半、GPU 占着却空闲”的局面。两者合起来,给 Kubernetes 补上了分布式负载需要的放置精度和协同能力。
本文会讲清楚 AI 训练的调度难题,以及 Kueue 和 Coscheduling 插件怎么解决它们,还会涉及:
- Kubernetes 调度器为什么不适合 AI 训练
- 如何验证 Kubernetes 里的成组调度与 TAS
另外也会介绍 Kubernetes 原生调度器为支持 AI 训练负载正在演进的能力。
Kubernetes 自带调度器为什么不适合 AI 训练
大多数批处理负载里,Pod 各自独立干活。一个 Pod 挂了、被重新调度或者被替换掉,对负载的其余部分没有影响。Kubernetes 调度器对这种模型应付得很好:它把 Pod 一个一个放到任意符合条件的节点上,不用在 Pod 之间做协同。
可 AI 训练负载里的 Pod 是互相牵制的。它们既要落在 GPU 间带宽合适的硬件上,又要同时启动。下面几节会解释这两条要求,以及 Kueue 和 Coscheduling 是如何通过增强 Kubernetes 的调度能力来满足它们的。
拓扑位置如何影响分布式 AI 训练性能
节点之间的物理互联方式,是决定 AI 训练性能的关键因素。训练每走一步,各个 worker 都要通过集合通信(collective communication)操作交换数据,至于交换的是什么、频率多高,取决于任务的并行策略。纯数据并行(DDP,data-parallel)训练里,每步只需做一次 AllReduce,把梯度——也就是指示模型参数该往哪个方向调整的计算信号——汇总、求平均、再分发下去。而把模型切分到多个 worker 上的大规模训练策略,worker 则要在整个训练步里持续不断地交换数据,用的操作包括 gather、reduce 和 all-to-all。这类大规模策略包括张量并行(tensor parallelism)、流水线并行(pipeline parallelism)和专家并行(expert parallelism),在大模型预训练里常常组合使用。不管哪种模式,底层的约束都一样:这种通信对延迟很敏感,worker 落在集群的什么位置,直接决定了任务要吃下多少延迟。
Worker 之间的可用带宽,取决于它们在集群里的相对位置。GPU 集群里常见的拓扑域有这么几档:
- 同一节点:通常是延迟最低的选择。如果 GPU 之间连着 NVLink 和 NVSwitch,worker 就能走英伟达的高带宽 GPU 互联;否则,同节点 GPU 之间的通信可能要走 PCIe(Peripheral Component Interconnect Express)连接。
- 同一机架的不同节点:worker 通过高速网络 fabric 通信。跨节点流量要先经 PCIe 走到网卡再回来,属于中等延迟。
- 不同机架:延迟最高的选择。worker 要跨集群的 InfiniBand fabric 通信,这是整条路径里带宽最低的一跳,还要在跨节点 PCIe 路径的基础上再叠加延迟。
不同的负载对延迟的容忍度也不一样。一个 worker 众多的预训练任务,每一步都要等最慢的那个 worker 完成它那份集合通信,跨机架延迟在这里会迅速累积,拉低 GPU 的有效利用率。而一个小规模微调任务,worker 少、交换的梯度也小,同样的跨机架代价在每步总时间里只占很小一部分。
没有拓扑感知能力,Kubernetes 调度器会把 worker 放到任意符合条件的节点上,完全不管它们在集群里的物理关系。成组是凑齐了,训练任务也跑起来了,可通信开销——而不是计算——吃掉了每一步里相当一部分时间。任务跑得比硬件应有的速度慢、成本还更高。关键是,基础设施指标反映不出这种低效,因为它们量的是“忙不忙”,不是“产出多少”。从基础设施的角度看一切正常,可训练吞吐就是上不去。
Kueue 通过拓扑感知放置补上了部分缺口。它依据打在节点上的拓扑标签(比如 topology.kubernetes.io/rack),把节点划分成 block、rack、host 这几级域,再把一个任务的 Pod 放进满足其带宽要求的单个域里。但 Kueue 自己不会去发现集群拓扑,定义每个域的标签得先打到节点上,通常由集群管理员或者云厂商的拓扑标注器来做。
Kueue 在准入时就把放置决策落到实处。它是一个开源的 Kubernetes 原生任务排队系统,坐在 kube-scheduler 之上,控制哪些任务、什么时候能到达调度器。在准入检查里,它还会验证任务的 Pod 能不能放进某个拓扑域。它按配额(quota)、优先级(priority)和抢占(preemption)标准逐个评估任务,决定是否放行,并把这个决定记录在 Kueue Workload 对象里——这个对象代表了任务的资源需求、准入状态和 Pod 集合。Kueue 还提供可选的任务生命周期管理,包括驱逐并重新排队那些 Pod 没能在配置的超时时间内全部进入就绪状态的任务。
Kueue 放行一个任务去调度时(做法是把 spec.suspend 设为 false,让 Job 控制器去创建 Pod),它会根据选定的放置模式和拓扑分配,把调度约束写进训练任务的 Pod 模板里。这些约束限制了 Kubernetes 调度器可以把 Pod 分配到哪些节点上,从而让 Pod 留在选定的拓扑域内。
下图展示了一个 Pod 从任务提交到绑定的路径。Kueue 先行动,在准入时写下拓扑约束、放行任务进入调度;Job 控制器接着创建 Pod,但这时它们还只是 etcd 里的对象,既没有分配节点,也没有运行中的容器;Coscheduling 最后行动,把每个 Pod 扣在等待状态,直到整个成组都就绪、可以同时绑定。
(原文配图:分布式训练任务从提交到 Pod 绑定的路径图,见原文链接)
如何验证 Kubernetes 里的成组调度与 TAS
Kueue 和 Coscheduling 解决了 AI 训练负载特有的调度需求。要让训练任务既有效又高效地跑起来,你得知道这两者是不是按预期在工作。排查调度故障要把多层技术栈的信号拼起来看,所以本节按步骤拆解,讲怎么验证流程里的每一步:
- 监控准入队列的活动,确认任务正在被接纳。
- 验证放置效果,确认任务落在了正确的物理拓扑上。
- 监控 Coscheduling 的成组组装,抓住“只启动一半”的情况。
- 用训练吞吐信号确认调度效果,把基础设施指标和应用性能直接挂钩。
监控准入队列的活动
Kueue 会暴露 OpenMetrics 格式的指标,告诉你任务是在顺利通过准入队列,还是卡在那里。
kueue_pending_workloads 按状态展示队列深度。active 状态统计的是正在队列里等容量空出来的任务;inadmissible 状态统计的是 Kueue 已经评估过、目前无法接纳的任务,通常是因为所属 ClusterQueue 里的配额耗尽、没有有效的拓扑域,或者某个约束无法满足。任务会一直处于 inadmissible,直到集群条件改变。一个持续增长又不消退的 inadmissible 数量,说明是配置或容量出了问题,而不是正常的排队。
kueue_admission_wait_time_seconds 衡量任务从创建或重新排队到被接纳要等多久。p99 持续走高,说明任务到达的速度超过了 Kueue 的接纳速度,原因可能是配额耗尽、大量任务争抢优先级,或者抢占处理耗时过长。
kueue_evicted_workloads_total 按原因标签统计驱逐次数。节点在 TAS 下出故障、Kueue 找不到替代节点时,会以 reason="NodeFailures" 驱逐受影响的任务,这个信号上升,说明指定拓扑域里出现了无法恢复的节点丢失。另一个原因 reason="PodsReadyTimeout",会在成组的 Pod 没能在配置的超时时间内全部进入就绪状态时触发。超时可能由很多原因造成,包括调度慢、镜像拉取慢、资源紧张,或者某个节点故障后恢复超时。把它当作去排查的提示,而不是单一原因的证据。这两个都是准入之后稳定性的信号,和“任务是否落在了预期的拓扑域”要分开看。
验证放置效果
除了通过 Kueue 指标了解准入健康状况和驱逐行为,你还可以检查 Kueue Workload 对象,确认一个任务的拓扑分配:
kubectl -n <namespace> get workloads.kueue.x-k8s.io <workload-name> -o yaml
找到 status.admission.podSetAssignments[].topologyAssignment 这个字段。它列出了每个 PodSet 被放进的拓扑层级和域值,是 TAS 已生效的权威信号。
确认拓扑分配之后,再用 GPU 和网络遥测数据验证硬件是不是真的跑出了放置所承诺的性能。同节点 GPU 通信在硬件支持的情况下,应当能看到 NVLink 或其他本地互联的活动;跨节点通信则要结合 PCIe 活动和网络或 fabric 遥测数据来评估:PCIe 吞吐反映的是跨节点通信所需的 GPU 到主机的传输,但它量不到网络那一跳本身。
如果拓扑分配明明有效、吞吐却偏低,先从物理基础设施上找解释,比如驱动问题、硬件故障或者 fabric 退化,而不要直接当成 Kueue 放置失败。这类硬件瓶颈表现出来的是带宽低于预期、集合通信变慢,未必是 GPU 空闲——这也是基础设施指标看起来健康、训练吞吐却在下滑的原因。
监控 Coscheduling 的成组组装
Coscheduling 插件用一个叫 PodGroup 的自定义资源来跟踪每个训练成组。PodGroup 记录了成组的最小 worker 数量和当前的调度状态。Pod 只要打上相同的 scheduling.x-k8s.io/pod-group 标签,就属于同一个 PodGroup。
可以用 kubectl 查询 PodGroup:
kubectl get podgroups.scheduling.x-k8s.io --all-namespaces
要看某个成组的更多细节,describe 这个 PodGroup,或者用 yaml 输出它的状态:
kubectl -n <namespace> describe podgroup.scheduling.x-k8s.io <podgroup-name>
kubectl -n <namespace> get podgroup.scheduling.x-k8s.io <podgroup-name> -o yaml
kubectl 显示的确切列会随版本和 CRD 配置而变化,重点看 PodGroup 的 spec 和 status 字段。spec.minMember 是成组运行所需的最少 Pod 数;配置了 spec.scheduleTimeoutSeconds 时,它控制成组最长能等多久;status.phase 是成组的当前状态,取值如下:
- Pending:PodGroup 已被接受,但调度器还没分配到足够的资源。
- Scheduling:已调度的 Pod 数超过了
spec.minMember,但运行中的 Pod 数还没达到spec.minMember。 - Running:至少
spec.minMember个 Pod 在运行。 - Unknown:部分必需的 Pod 已经调度,剩下的排不上(比如资源不足),调度器在等控制器把它们恢复回来。
- Finished:必需的 Pod 都成功完成了。
- Failed:至少一个必需的 Pod 失败了。
一个健康的成组,应当在你预期的调度窗口内从 Pending 或 Scheduling 走到 Running。如果一个成组在 Pending 或 Scheduling 里停留的时间超出预期,去查 PodGroup 的事件、相关 Pod 的事件和调度器日志。这种延迟可能说明集群在 Kueue 指定的拓扑域内满足不了成组的资源需求,或者没有可用节点满足节点选择器、污点、亲和性或资源量这类调度要求。
一个卡在 Scheduling 和 Running 之间、只放了一部分的成组,状态可能显示为 Unknown,而不是继续停在 Scheduling。Unknown 和 Failed 的区别在于:调度器还在等控制器把没放上的 Pod 恢复回来,而不是报告彻底失败。
要区分准入问题还是调度器层面的组装问题,把 PodGroup 的状态和 Kueue 的 Workload 状态及准入指标对照起来看。如果 Workload 还是 inadmissible,问题在 Coscheduling 的上游:Kueue 还没接纳这个任务,修复方向很可能是配额、优先级、准入检查或拓扑配置。如果 Workload 已经被接纳、也有拓扑分配,但 PodGroup 仍然卡在 Pending 或 Scheduling,问题就在流水线的下游:Coscheduling 和 kube-scheduler 没能在给定的放置条件和当前集群状态下凑齐足够多的 Pod。
如果 PodGroup 走到了 Failed,直接去查失败的 Pod,找应用故障、镜像或启动错误、节点中断这类常见问题。
用训练吞吐信号确认调度效果
训练框架是编排分布式训练的软件库,比如 PyTorch、JAX 和 Ray Train。只有监控这些框架发出的信号,才能判断 GPU 周期是在产出实打实的训练进展,还是被停滞的通信吃掉了。
Ray 在这些框架里比较特殊,它的 placement group(放置组)模型和成组调度直接对应,自带调度感知的可观测性。ray_placement_groups 按 State(比如 PENDING、CREATED 或 REMOVED)跟踪当前放置组的数量;PENDING 的放置组持续增加,说明 Ray 在等放置组资源到位。ray_tasks 按 State 跟踪任务数量,可以看出应用工作是不是在放置组悬而未决的时候越积越多。
这两个信号一起往上涨,说明 Ray 满足不了它的放置要求。这可能是 Coscheduling 组装问题或 Kueue 拓扑约束问题的下游表现,而不是简单的应用层变慢。
其他分布式训练框架(包括 PyTorch DDP、Kubeflow 算子、Horovod)没有直接反映 Kubernetes 调度器效果的指标。但它们提供了吞吐指标这种间接信号,比如每秒步数(steps per second)、每秒样本数(samples per second)和每秒 token 数(tokens per second)。如果这些指标下滑,同时 GPU 互联带宽下降、PodGroup 出现超时,就指向调度是根因。PodGroup 超时确认了成组组装没能在预期的调度窗口内完成;把这些超时和 Kueue Workload 的拓扑分配以及 GPU、PCIe、网络遥测数据对照起来,就能判断放置约束是不是拖慢的推手。
原生 Kubernetes 调度:v1.35 到 v1.37 如何应对 AI 训练需求
Kueue 和 Coscheduling 是外挂组件,要独立于 Kubernetes 安装和管理。Kubernetes 也开始往原生调度器里加能力,来应对本文讲的这些复杂调度需求,不过这些功能还处在早期。
Kubernetes v1.35 以 alpha 功能引入了对成组调度的原生支持。v1.36 又加了几个相关的 alpha 功能,包括拓扑感知调度、工作负载感知抢占(workload-aware preemption),以及通过特性门控(feature gate)实现的 Job 控制器初步集成。v1.36 还新增了原生的 PodGroup API——注意它和 Coscheduling 插件用的 PodGroup 自定义资源(CRD)不是同一个东西。Kubernetes v1.37 把成组调度和工作负载感知抢占升到了 beta,归在 GenericWorkload 特性门控之下,该门控默认仍是关闭的。
原生的 TAS 实现让 kube-scheduler 能理解集群的物理拓扑,把 Pod 放进合适的拓扑域(比如机架或可用区),而不用 Kueue 再往 Pod 模板里写节点亲和性规则。
但这些原生能力还不能直接替代 Kueue 加 Coscheduling 这条路。成组调度和工作负载感知抢占到了 v1.37 的 beta,默认仍是关闭的,功能上也还比不上 Kueue 和 Coscheduling;拓扑感知工作负载调度则还停留在 alpha。
Kueue 和 Coscheduling 仍然是分布式训练调度的生产路径。它们的监控信号——准入队列深度、成组组装状态、拓扑放置、GPU 吞吐——直接对应原生 API 暴露的概念。在现有技术栈里把可观测性建起来,以后评估或迁移到原生能力时,就有了一个能用的基线。
上手成组调度与拓扑感知放置
监控分布式 AI 训练的调度,需要打通标准工具天然连不起来的几个组件:Kueue 的准入队列、Coscheduling 的成组组装、GPU 互联,以及训练框架。在所有这些信号上用一套共同的拓扑标签,能帮你监控集群里成组调度和 TAS 的活动,确保训练任务高效推进。
要上手,可以读 Kueue 文档和 Coscheduling 插件文档。
本文最初发表于 Datadog 博客,完整版还包括如何在生产环境里监控和排障这套技术栈。
译者注
- 先分清“排不上”和“排错了”:Workload 长期 inadmissible,是 Kueue 准入层的问题(配额、优先级、拓扑域);PodGroup 卡在 Pending 或 Scheduling,则是 Coscheduling 组装层的问题。两层信号对不上号就分头查,别只盯着 GPU 利用率——原文点明了,基础设施指标量的是“忙不忙”,不是“产出多少”,训练吞吐才是最终裁判。
- 拓扑标签是前提,不是可选项:Kueue 自己不发现拓扑,
topology.kubernetes.io/rack这类标签要靠管理员或云厂商的拓扑标注器先打好。标签打错、打漏,TAS 再准也无从下手;上生产前先用kubectl看一眼 Workload 的topologyAssignment字段,确认一次再跑大任务。 - 和华为云的结合点:华为云 CCE(云容器引擎)提供 GPU 节点与托管 Kubernetes 能力,Kueue 这类 Kubernetes 原生作业队列可以在 CCE 集群里落地验证;做大模型训练的团队可以先在 CCE 上跑通 Kueue 加 Coscheduling 的组合、把观测信号接好,等 Kubernetes 原生能力成熟后再评估迁移,本文的验证方法到时可以直接复用。
相关阅读(同方向旧文,纯文本链接): - 谷歌捐出 Agent Substrate 与 gVisor:智能体沙箱 500 毫秒唤醒,闲置不再烧钱:https://bbs.huaweicloud.cn/blogs/540d81f987b541faacf5817d8a1ba46f - OpenTelemetry eBPF 插桩 OBI 1.0 发布:零代码采集指标与 Trace,配置和部署接口有了兼容承诺:https://bbs.huaweicloud.cn/blogs/cee4b9102b0a4f5285cdb1dc71aedf59
原文:Gang scheduling and topology-aware placement for AI training in Kubernetes,David Lentz(DataDog),CNCF 博客,2026-11-12。原文链接:https://www.cncf.io/blog/2026/11/12/gang-scheduling-and-topology-aware-placement-for-ai-training-in-kubernetes/
- 点赞
- 收藏
- 关注作者
评论(0)