Volcano架构解读:基于Kubernetes的云原生批量计算平台

举报
技术火炬手 发表于 2021/01/28 15:36:39 2021/01/28
【摘要】 本篇文章将从Volcano架构、Volcano核心概念及功能、Volcano Code Tour、平台组件安装部署等方面来带大家认识Volcano。

Volcano是一个基于Kubernetes的云原生批量计算平台,也是CNCF的首个批量计算项目。

Volcano 主要用于AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。它提供高性能计算任务调度,异构设备管理,任务运行时管理等能力。本篇文章将从Volcano架构、Volcano核心概念及功能、Volcano Code Tour、平台组件安装部署等方面来带大家认识Volcano

一、Volcano架构

1Volcano全景

Volcano是基于Kubernetes的高性能批量计算平台,目前支持几乎所有的主流计算框架,包括MindSporeTensorFlowKubeflowMPIPyTorch、飞浆、SparkHOROVOD 等。

Volcano支持的部分计算框架

计算框架遇到的问题:

11:1operator部署运维复杂

2)不同框架对作业管理、并行计算等要求不同

3)计算密集高,资源需求波动大,需要高级调度能力

Volcano面向主流计算框架提供:

1)统一容器基础设施,提高资源利用率

2)通用作业管理、队列Fair-share, Gang, bin-pack等高级调度算法

3)简化运维管理

2Volcano整体架构

Volcano利用声明式的CRD定义我们的API,主要有3个核心的APIVolcano JobPodGroupQueue

Volcano Job 是对高性能任务的通用定义,PodGroup提供了JobTask的管理能力,Queue 为任务的分类提供了基础。

Volcano的架构

Volcano 核心组件主要包含三个:AdmissionControllerManager、Scheduler 。Admission对Volcano CRD API提供校验能力;ControllerManager负责对Volcano CRD进行资源管理;Scheduler对任务提供丰富的调度能力。

3Volcano工作流程

从零开始运行Volcano作业:

1)用户创建一个 Volcano 作业

2Volcano Admission 拦截作业的创建请求,并进行合法性校验

3Kubernetes 持久化存储 Volcano Job ETCD

4)ControllerManager 通过 List-Watch 机制观察到Job 资源的创建,创建任务(Pod

5)Scheduler 负责任务的调度,绑定 Node

6Kubelet Watch Pod的创建,接管 Pod 的运行

7)ControllerManager 监控所有任务的运行状态,保证所有的任务在期望的状态下运行

二、Volcano核心概念及功能

1Volcano核心概念

1QueueQueue的概念源于 Yarn,它是Cluster 级别的资源对象,可为其声明资源配额,也可由多namespace 共享,并且提供 soft isolation

2PodGroupPodGroup是任务的分组,它与 queue 绑定,占用队列的资源。它与 Volcano Job 是一对一的关系;也可为其声明 Scheduling 条件

3Volcano Job它是批量计算作业的定义,支持定义作业所属队列、生命周期策略、所包含的任务模板以及持久卷等信息

2、作业管理插件

svc提供不同类型任务之间互访能力

env任务索引,例如 Tensorflow Worker index

sshssh 秘钥对创建及挂载,主要供 MPI 作业使用

3Scheduler架构

Scheduler支持动态配置和加载。

4、核心调度算法

1Gang Scheduling

2Fair Share

3Preempt & Reclaim

4Reserve & Backfill

5Topology Aware Scheduling

6GPU Sharing

三、Volcano Code Tour

cmd目录是Volcano所有组件启动的入口;config 是Volcano的配置;defs 是安装时的配置;docs 是Volcano的设计文档;example 提供了简单的例子,hack 提供安装时的脚本;installer 提供安装的模板。

pkg 是最重要的目录,里面包含了 apicontrollerscheduler webhook 等代码。test 提供了e2e测试用例, vendor是依赖库。

四、安装部署

1Volcano Install

Volcano安装部署有多种方式:若已存在K8S集群,建议通过 Helm方式安装部署,该方式支持自定义安装配置;开发者建议通过Development Yaml方式部署。

对于开发者,Volcano已内置一键式安装部署脚本,路径为 volcano. sh/volcano/hack/local-up-volcano. sh。运行该脚本时,默认会使用kind创建 Docker in Docker的模拟集群,并安装部署Volcano 

2Volcano 组件

正确安装部署后,将生成4个组件,分别为:Volcano-admissionVolcano-admission-initVolcano-controllers Volcano-scheduler ,其中admission-init以作业的方式生成证书。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。