在刚刚完结的CLOUD NATIVE+ OPEN SOURCE Virtual Summit China 2020上，由华为云云原生团队主导的容器批量计算我的项目Volcano正式公布1.0版本，标记着Volcano我的项目曾经开始走向成熟与稳固。

Volcano我的项目介绍

Volcano是基于Kubernetes的云原生批量计算引擎，基于华为云在AI、大数据畛域的深厚业务积攒，补齐了Kubernetes在面向AI、大数据、高性能计算等批量计算任务调度、编排等场景下的短板，向下反对鲲鹏、昇腾、X86等多元算力，向上使能TensorFlow、Spark、华为MindSpore等支流行业计算框架，让数据科学家和算法工程师充沛享受到云原生技术所带来的高效计算与极致体验。

Volcano架构示意图

随着Kubernetes作为AI、大数据和高性能批量计算的下一代基础设施的趋势逐步清晰，越来越多的企业对Kubernetes在深度学习、科学计算、高性能渲染等方面提出了更高的要求。

然而Kubernetes作为普适的容器化解决方案，仍与业务诉求存在肯定差距，次要体现在：

  1. K8s的原生调度性能无奈满足计算要求
  2. K8s作业管理能力无奈满足AI训练的简单诉求
  3. 数据管理方面，短少计算侧数据缓存能力，数据地位感知等性能
  4. 资源管理方面短少分时共享，利用率低
  5. 硬件异构能力弱

Volcano的诞生正是基于这些痛点，在调度、作业管理、数据管理、资源管理四个方面进行了重点优化。

  1. 加强了任务调度能力，如偏心的调度（fair-share）、组调度（gang-scheduling）
  2. 进一步优化了作业管理能力,如multiple pod template能力、更灵便的error handling机制
  3. 减少计算侧数据缓存，晋升数据的传输与读取效率
  4. 引入多维度的综合评分机制，实现资源更高效的治理和调配
  5. 多元算力反对：反对x86、鲲鹏和昇腾等算力

Volcano v1.0新个性介绍

Volcano v1.0的外围概念和要害个性，次要蕴含以下要点：

  1. Queue、PodGroup、Volcano Job等外围概念均已实现
  2. 反对Binpack、Conformance、DRF、Gang、Preempt、Reclaim、Priority、Proportion等多种调度策略
  3. 反对Rest API、CLI等多种交互方式
  4. 实现与Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore等支流高性能计算框架的无缝对接
  5. 反对Job的全生命周期治理和动静扩缩容
  6. 反对GPU异构与共享
  7. 齐备的golangCI-lint check、e2e以建设加强代码品质和稳定性

除以上个性外，Volcano始终保持与Kubernetes社区、Golang最新版本保持一致。

Volcano社区和生态建设停顿

通过一年多的倒退，Volcano的社区和生态建设曾经步入快车道。截至目前，社区和生态建设获得了以下问题：

  1. 社区贡献者80+
  2. 社区奉献参加组织15+，包含华为、百度、腾讯、AWS、IBM、 Oracle等
  3. 取得Star 1100+，Fork 220+
  4. 代码库7个，Release 6个
  5. Issue 320+，PR 590+
  6. 已实现对Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore、Cromwell等10+支流计算框架的反对
  7. 华为云CCE（云容器引擎）、CCI（云容器实例）、ModelArts等多个云服务已将Volcano集成为基础设施底座并商用，服务畛域已涵盖AI、大数据利用、基因计算、批处理等场景，并实现与华为鲲鹏、昇腾处理器深度交融，最快每秒1000个容器的调度发放，成为高性能、极致性价比的批量计算解决方案。

深刻理解Volcano

如果想更加深刻理解Volcano，能够参考以下资源：

Volcano官网：

https://volcano.sh/

Github：

https://github.com/volcano-sh

Volcano简介：

https://github.com/volcano-sh...

Volcano设计：

https://github.com/volcano-sh...

Volcano路线图：

https://github.com/volcano-sh...

Volcano社区交换微信群：

Volcano CN

将来可期

随着Volcano v1.0的公布，Volcano社区建设与上下游生态的交融必将更加严密，基于Volcano的商业利用也将极大地促成AI、大数据、科学计算、渲染等畛域充沛享受到云计算带来的极大便当和极致体验，助力企业数字化转型进入新的高度。

展望未来，华为云也将在云原生畛域继续耕耘，继续引领翻新、凋敝生态，助力各行业走向疾速智能倒退之路。

点击关注，第一工夫理解华为云陈腐技术~