摘要：Volcano次要是基于Kubernetes做的一个批处理零碎，心愿下层的HPC、中间层大数据的利用以及最上面一层AI可能在对立Kubernetes下面运行的更高效。
Volcano产生的背景
上图是咱们做的一个剖析，咱们将其分为三层，最上面为资源管理层，两头为畛域的框架，包含AI的体系、HPC、Batch， WKflow的治理以及像当初的一些微服务及流量治理等。再往上是行业以及一些行业的利用。
随着一些行业的利用变得复杂，它对所需要的解决方案也越来越高。举个例子在10多年以前，在金融行业提供解决方案时，它的架构是非常简单的，可能须要一个数据库，一个ERP的中间件，就能够解决银行大部分的业务。
而当初，每天要收集大量的数据，它须要spark去做数据分析，甚至须要一些数据湖的产品去建设数据仓库，而后去做剖析，产生报表。同时它还会用 AI的一些零碎，来简化业务流程等。
因而，当初的一些行业利用与10年前比，变得很简单，它可能会利用到上面这些畛域框架外面的一个或多个。其实对于行业利用，它的需要是在多个畛域框架作为一个交融，畛域框架的诉求是上面的资源管理层可能提供对立的资源管理。
Kubernetes当初越来越多的承载了对立的资源管理的角色，它能够为 HPC这些行业畛域框架提供服务，也能够作为大数据畛域的资源管理层。Volcano次要是基于Kubernetes做的一个批处理零碎，心愿下层的HPC、中间层大数据的利用以及最上面一层AI可能在对立Kubernetes下面运行的更高效。
Volcano要解决什么样的问题？
挑战 1: 面向高性能负载的调度策略
e.g. fair-share, gang-scheduling
挑战 2: 反对多种作业生命周期治理
e.g. multiple pod template, error handling
挑战 3: 反对多种异构硬件
e.g. GPU, FPGA
挑战 4: 面向高性能负载的性能优化
e.g. scalability, throughput, network, runtime
挑战 5：反对资源管理及分时共享
e.g. Queue, Reclaim
Volcano架构体系
蓝色局部是 K8s自身的组件，绿色的局部是Volcano新加的一些组件。
作业提交流程：
1、通过 Admission 后，kubectl 将在 kube-apiserver中创立 Job (Volcano CRD) 对像
2、JobController 依据 Job 的配置创立 相应的 Pods e.g. replicas
3、Pod及PodGroup创立 后，vc-scheduler 会到 kube-apiserver 获取Pod/PodGroup 以及 node 信息
4、获取信息后，vc-scheduler 将依据其配置的调度策略为每一个 Pod 选取适合节点
5、在为Pod调配节点后，kubelet 将从kube-apiserver中获得Pod的配置，启动相应的容器
须要强调的几点：
vc-scheduler 中的调度策略都以插件的模式存在, e.g. DRF, Priority, Gang
vc-controllers 蕴含了 QueueController, JobController，PodGroupController 以及 gc-controller
vc-scheduler 不仅能够调度批量计算的作业，也能够调度微服务作业；并且能够通过 multi-scheduler 性能与 kube-scheduler 共存
局部组件介绍
Controller
右边为Volcano Job Controller，不只调度应用的Volcano，Job的生命周期治理、作业管理都在这外面蕴含。咱们提供了对立的作业管理，你只有应用Volcano，也不须要创立各种各样的操作，就能够间接运行作业。
左边为CRD Job Controller，通过上面的PodGroup去做集成。
scheduler架构体系
Scheduler反对动静配置和加载。右边为apiserver,左边为整个Scheduler,apiserver里有Job、Pod、Pod Group；Scheduler分为三局部，第一层为Cache,中间层为整个调度的过程，左边是以插件模式存在的调度算法。Cache会将apiserver里创立的Pod、Pod Group这些信息存储并加工为Jobinfors。中间层的OpenSession会从Cache里拉取Pod、Pod Group，同时将左边的算法插件一起获取，从而运行它的调度工作。
状态之间依据不同的操作进行转换，见下图。
另外，咱们在Pod和Pod的状态方面减少了很多状态，图中蓝色局部为K8s自带的状态；绿色局部是session级别的状态，一个调度周期，咱们会创立一个session，它只在调度周期内发挥作用，一旦过了调度周期，这几个状态它是生效的；黄色局部的状态是放在Cache内的。咱们加这些状态的目标是缩小调度和API之间的一个交互，从而来优化调度性能。
Pod的这些状态为调度器提供了更多优化的可能。例如，当进行Pod驱赶时，驱赶在Binding和Bound状态的Pod要比拟驱赶Running状态的Pod的代价要小 (思考：还有其它状态的Pod能够驱赶吗？)；并且状态都是记录在Volcano调度外部，缩小了与kube-apiserver的通信。但目前Volcano调度器仅应用了状态的局部性能，比方当初的preemption/reclaim仅会驱赶Running状态下的Pod；这次要是因为分布式系统中很难做到齐全的状态同步，在驱赶Binding和Bound状态的Pod会有很多的状态竞争。
在性能下面能带来哪些益处？
1）反对多种类型作业混合部署
2）反对多队列用于多租户资源共享，资源布局；并分时复用资源
3）反对多种高级调度策略，无效晋升整集群资源利用率
4）反对资源实时监控，用于高精度资源调度，例如 热点，网络带宽；容器引擎，网络性能优化, e.g. 免加载
分布式训练场景
Gang-scheduler
Case 1: 1 job with 2ps + 4workers
Case 2: 2 jobs with 2ps + 4workers
Case 3: 5 jobs with 2ps + 4workers
在Volcano和 kubeflow+kube-scheduler做比照，Case 1在资源短缺的时候成果是差不多的；Case 2是在没有足够的资源的状况下同时运行两个作业，如果没有 gang-scheduling，其中的一个作业会呈现忙等 ；Case 3当作业数涨到5后，很大概率呈现死锁；个别只能实现2个作业。
IOAware
3个作业的执行工夫总和; 每个作业带2ps + 4workers
默认调度器执行工夫稳定较大
执行工夫的进步量根据数据在作业中的比例而定
缩小 Pod Affinity/Anti-Affinity，进步调度器的整体性能
大数据场景
Spark-sql-perf (TP-DCS, master)
104 queries concurrently
(8cpu, 64G, 1600SSD) * 4nodes
Kubernetes 1.13
Driver: 1cpu,4G; Executor: (1cpu,4G)*5
如果没有固定的driver节点，最多同时运行 26 条查问语句
因为Volcano提供了作业级的资源预留，总体性能进步了~30%
HPC场景
MPI on Volcano
布局
GPU共享个性
1）算力优化：
GPU硬件加速，TensorCore
GPU共享
昇腾革新
2）调度算法优化：
Job/Task模型，提供AI类Job对立批量调度
多任务排队，反对多租户/部门共享集群
单Job内多任务集群中最优化亲和性调度、Gang Scheduling等
支流的PS-Worker、Ring AllReduce等分布式训练模型
3）流程优化
容器镜像
CICD流程
日志监控
Volcano能够反对更大规模的一个集群调度，咱们当初是1万个节点百万容器，调度的性能每秒达到2000个Pod。
1)编排：
Etcd 分库分表，e.g. Event 放到独自库，wal/snapshot 独自挂盘
通过一致性哈希扩散解决，实现 controller-manager 多活
Kube-apiserver 基于工作负载的弹性扩容
2)调度：
通过 EquivalenceCache，算法剪枝 等技术晋升单调度器的吞吐性能
通过共享资源视图实现调度器多活，晋升调度速率
3)网络：
通过trunkport晋升单节点容器密度及单集群ENI容量
通过 Warm Pool 预申请网口，晋升网口发放速度
基于eBPF/XDP 反对大规模、高度变动的云原生利用网络，e.g. Service, network policy
4)引擎：
containerd 并发 启动优化
反对shimv2，晋升单节点容器密度
镜像下载减速 Lazy loading
Cromwell社区集成
Cromwell是一个流程调度软件，它能够定义不同的作业，这个软件在基因测序以及基因计算畛域里利用是比拟宽泛的。
Cromwell 社区原生反对Volcano
企业版曾经上线 华为云 GCS
通过 cromwell 反对作业依赖
Volcano 提供面向作业、数据依赖的调度
Volcano CLI
KubeSim
简介：
集群进行性能测试及调度的形容工具
不受资源限度，模仿大规模K8S集群
残缺的K8S API调用，不会真正创立pod
曾经反对产品侧大规模专项及调度专项的模仿工作
总体构造：
Worker cluster：承载kubemark虚构节点，hollow pod
Master cluster：治理kubemark虚构节点，hollow node
Hollow pod = hollow kubelet + hollow proxy
社区活跃度：
• 1.4k star，300+ fork，150+ 贡献者
• 3 Maintainer，7 Reviewer
• 30 家企业、科研机构
目前应用Volcano的局部企业
点击关注，第一工夫理解华为云陈腐技术~