关于容器:未来云原生世界的领头羊容器批量计算项目Volcano-10版本发布

31次阅读

共计 1996 个字符，预计需要花费 5 分钟才能阅读完成。

在刚刚完结的 CLOUD NATIVE+ OPEN SOURCE Virtual Summit China 2020 上，由华为云云原生团队主导的容器批量计算我的项目 Volcano 正式公布 1.0 版本，标记着 Volcano 我的项目曾经开始走向成熟与稳固。

Volcano 我的项目介绍

Volcano 是基于 Kubernetes 的云原生批量计算引擎，基于华为云在 AI、大数据畛域的深厚业务积攒，补齐了 Kubernetes 在面向 AI、大数据、高性能计算等批量计算任务调度、编排等场景下的短板，向下反对鲲鹏、昇腾、X86 等多元算力，向上使能 TensorFlow、Spark、华为 MindSpore 等支流行业计算框架，让数据科学家和算法工程师充沛享受到云原生技术所带来的高效计算与极致体验。

Volcano 架构示意图

随着 Kubernetes 作为 AI、大数据和高性能批量计算的下一代基础设施的趋势逐步清晰，越来越多的企业对 Kubernetes 在深度学习、科学计算、高性能渲染等方面提出了更高的要求。

然而 Kubernetes 作为普适的容器化解决方案，仍与业务诉求存在肯定差距，次要体现在：

  1. K8s 的原生调度性能无奈满足计算要求
  2. K8s 作业管理能力无奈满足 AI 训练的简单诉求
  3. 数据管理方面，短少计算侧数据缓存能力，数据地位感知等性能
  4. 资源管理方面短少分时共享，利用率低
  5. 硬件异构能力弱

Volcano 的诞生正是基于这些痛点，在调度、作业管理、数据管理、资源管理四个方面进行了重点优化。

  1. 加强了任务调度能力，如偏心的调度（fair-share）、组调度（gang-scheduling）
  2. 进一步优化了作业管理能力, 如 multiple pod template 能力、更灵便的 error handling 机制
  3. 减少计算侧数据缓存，晋升数据的传输与读取效率
  4. 引入多维度的综合评分机制，实现资源更高效的治理和调配
  5. 多元算力反对：反对 x86、鲲鹏和昇腾等算力

Volcano v1.0 新个性介绍

Volcano v1.0 的外围概念和要害个性，次要蕴含以下要点：

  1. Queue、PodGroup、Volcano Job 等外围概念均已实现
  2. 反对 Binpack、Conformance、DRF、Gang、Preempt、Reclaim、Priority、Proportion 等多种调度策略
  3. 反对 Rest API、CLI 等多种交互方式
  4. 实现与 Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore 等支流高性能计算框架的无缝对接
  5. 反对 Job 的全生命周期治理和动静扩缩容
  6. 反对 GPU 异构与共享
  7. 齐备的 golangCI-lint check、e2e 以建设加强代码品质和稳定性

除以上个性外，Volcano 始终保持与 Kubernetes 社区、Golang 最新版本保持一致。

Volcano 社区和生态建设停顿

通过一年多的倒退，Volcano 的社区和生态建设曾经步入快车道。截至目前，社区和生态建设获得了以下问题：

  1. 社区贡献者 80+
  2. 社区奉献参加组织 15+，包含华为、百度、腾讯、AWS、IBM、Oracle 等
  3. 取得 Star 1100+，Fork 220+
  4. 代码库 7 个，Release 6 个
  5. Issue 320+，PR 590+
  6. 已实现对 Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore、Cromwell 等 10+ 支流计算框架的反对
  7. 华为云 CCE（云容器引擎）、CCI（云容器实例）、ModelArts 等多个云服务已将 Volcano 集成为基础设施底座并商用，服务畛域已涵盖 AI、大数据利用、基因计算、批处理等场景，并实现与华为鲲鹏、昇腾处理器深度交融，最快每秒 1000 个容器的调度发放，成为高性能、极致性价比的批量计算解决方案。

深刻理解 Volcano

如果想更加深刻理解 Volcano，能够参考以下资源：

Volcano 官网：

https://volcano.sh/

Github：

https://github.com/volcano-sh

Volcano 简介：

https://github.com/volcano-sh…

Volcano 设计：

https://github.com/volcano-sh…

Volcano 路线图：

https://github.com/volcano-sh…

Volcano 社区交换微信群：

Volcano CN

将来可期

随着 Volcano v1.0 的公布，Volcano 社区建设与上下游生态的交融必将更加严密，基于 Volcano 的商业利用也将极大地促成 AI、大数据、科学计算、渲染等畛域充沛享受到云计算带来的极大便当和极致体验，助力企业数字化转型进入新的高度。

展望未来，华为云也将在云原生畛域继续耕耘，继续引领翻新、凋敝生态，助力各行业走向疾速智能倒退之路。

点击关注，第一工夫理解华为云陈腐技术~

正文完
容器
发表至： 容器
2020-08-06
 0
关于容器:Docker汇总
关于容器:直播回顾｜多云时代如何建设企业级云管理平台
关于容器:Introduction-to-Containers-and-Kubernetes
关于容器:教程干货零基础创建简单的在线审批流程