关于大数据:开源项目丨Taier12版本发布新增工作流租户绑定简化等多项功能

36次阅读

共计 1530 个字符,预计需要花费 4 分钟才能阅读完成。

2022 年 7 月 26 日,Taier1.2 版本正式公布!

本次版本公布更新性能:

  • 新增工作流
  • 新增 OceanBase SQL
  • 新增 Flink jar 工作
  • 数据同步、实时采集反对脏数据管理
  • Hive UDF
  • 控制台 UI 降级
  • 租户绑定简化

新版本的应用文档已在社区中推送,大家能够随时下载查阅,欢送大家体验新版本性能 (喜爱咱们的我的项目欢送大家点个 Star),体验地址:

Github:

[https://github.com/DTStack/Taier
](https://github.com/DTStack/Taier)

Gitee:

https://gitee.com/dtstack_dev…

社区:

https://dtstack.github.io/Taier/

Taier1.2 版本介绍

Taier 是一个大数据分布式可视化的 DAG 任务调度零碎,旨在升高 ETL 开发成本、进步大数据平台稳定性,大数据开发人员能够在 Taier 间接进行业务逻辑的开发,而不必关怀工作盘根错节的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier 脱胎于袋鼠云数栈,技术实现来源于数栈散布式调度引擎 DAGScheduleX,是数栈产品的重要基础设施之一,负责大数据平台所有工作实例的调度运行。

2022 年 2 月 22 日,Taier 正式开源并公布 1.0 版本。

2022 年 5 月 8 日,Taier1.1 版本公布,更新对 Flink 的反对降级到 Flink1.12,反对多种流类型工作等性能。

2022 年 7 月 26 日,Taier1.2 版本公布,本次公布重点新增工作流性能,实现配置化编排业务;租户简化绑定,不同类型计算组件无强制依赖等性能。

Taier1.2 新增性能详解

1. 新增工作流

通过可视化操作拖动工作节点到画板中,手动连贯上下游工作组成依赖关系,造成一个 DAG 的工作流。同时反对任意类型的工作通过工作流拖拽的形式,间接实现配置化编排业务

2. 新增 OceanBase SQL

新增 OceanBaseSQL 工作,反对 OceanBaseSQL 的任务调度和运维展现。

3. 新增 Flink jar 工作

反对上传自定义开发的 Flink jar 工作,通过 Taier 提交运行和监控。

4. 数据同步、实时采集反对脏数据管理

数据同步、实时采集反对脏数据管理,能够配置脏数据数量限度和保留形式,可保留至数据库实时查看。

5.Hive UDF

Hive SQL 反对 udf 函数开发配置。

6. 控制台 UI 降级

控制台交互和页面全新降级,通过树形构造展现组件配置信息,同时反对扩大自定义组件进行配置。

7. 租户绑定简化

集群和租户绑定简化,移除租户对接集群 schema 的强制绑定关系,不同类型计算组件无强制依赖;优化工作开发流程逻辑,反对自定义扩大工作类型。

将来布局

Taier 自往年 2 月份开源以来,已更新迭代 Taier1.1、Taier1.2 两个版本,目前 Taier1.3 的版本已在布局中,在新版本中咱们将着重解决以下几个问题:

  • 反对 Flink Standalone 不依赖 Hadoop 也能够应用 Flink 相干的性能,升高上手环境老本
  • 适配开发者 Window 环境,反对 Window 环境下的工作提交流程
  • DatouSourceX 版本升级,新增更多的数据源类型反对

除了一直放弃迭代更新外,Taier 将持续保持每月一次开源技术直播,帮忙 Taier 开发者们更好的应用产品,欢送有趣味的小伙伴们退出咱们的交换社群(钉钉 qun:30537511),一起交换 Taier 的技术问题及难点,和 Taier 一起共同进步!

袋鼠云开源框架钉钉技术交换 qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack

正文完
 0