关于数据库:320-终极预告云原生支持新增-Spark-on-k8S-支持

9次阅读

共计 1133 个字符,预计需要花费 3 分钟才能阅读完成。

视频贡献者 | 王维饶

视频制作者 | 聂同学

编辑整理 | Debra Chen

Apache DolphinScheduler 3.2.0 版本将公布,为了让大家提前理解到此版本更新的次要内容,咱们曾经制作了几期视频和内容做了大抵介绍,包含《重磅预报!Apache DolphinScheduler 3.2.0 新性能“剧透”》、《3.2.0 版本预报!Apache DolphinScheduler API 加强相干性能》、《3.2.0 版本预报!近程日志解决 Worker 故障获取不到日志的问题》。

明天,咱们来介绍另一个用户也很关注的云原生相干性能更新。

https://www.bilibili.com/video/BV1e8411Q789/?vd_source=e59b22…

明天为各位介绍一下 Apache DolphinScheduler 3.2.0 云原生的相干新性能,次要分为两个局部:

  • 对 K8S 工作类型的加强
  • 对 Spark on K8S 新性能的反对

K8S 工作类型加强

咱们次要是介绍三个新性能:

  • 反对自定义标签
  • 反对自定义节点选择器
  • 反对工作日志的实时收集

对于前两个性能,因为 K8S 自身提供了对各类对象去定义 Label 的能力,使得用户也能够更好地进行对象的治理。

另外,用户也能够去定义节点选择器,将对象调度到指定节点上。这两个性能在生产环境中对用户是有很大的帮忙的。因而,3.2.0 版本也抉择去实现反对这两个性能。

日志实时收集其实是对 3.1.X 版本的改良。之前,Apache DolphinScheduler 只会在任 K8S 工作执行失败的时候去收集开端起几行谬误日志,但显然实时收集全量日志是对用户更加敌对的一个性能。

咱们跑一个 K8S 类型的工作,来看一下这三点加强的成果(见视频 01:11s-03:06s)。

Spark on K8S 反对

在 3.2.0 版本中,Apache DolphinScheduler 将反对 Spark 提交到原生 K8S 集群的模式。

以当时定义好的一个 Spark on K8S 的工作流为例,在这个 Spark 工作中,咱们会发现曾经增加了一个新的抉择框—Namespace。如果用户抉择了 Namespace,即它非空时,咱们认为用户是期待把这个 Spark 工作提交到 K8S 集群上做执行。

同样地,在这个工作中,用户也能够去自定义他们的 Option,具体能够参考 Spark 官网,依据本人 K8S 集群的状态去定义他们的 Option。

在 Spark on K8S 的工作中,咱们也会实时地收集 Driverpod 日志,并对 Driverpod 进行生命周期治理。如果当前任务是执行胜利的状态,咱们会将 Pod 删除掉;如果执行失败,Pod 会保留在集群中,供用户做诊断剖析。

查看运行状态(见视频 04:03s- 结尾)。

本文由 白鲸开源科技 提供公布反对!

正文完
 0