2022年7月26日,Taier1.2版本正式公布!
本次版本公布更新性能:
- 新增工作流
- 新增OceanBase SQL
- 新增Flink jar工作
- 数据同步、实时采集反对脏数据管理
- Hive UDF
- 控制台UI降级
- 租户绑定简化
新版本的应用文档已在社区中推送,大家能够随时下载查阅,欢送大家体验新版本性能(喜爱咱们的我的项目欢送大家点个Star),体验地址:
Github:
[https://github.com/DTStack/Taier
](https://github.com/DTStack/Taier)
Gitee:
https://gitee.com/dtstack_dev...
社区:
https://dtstack.github.io/Taier/
Taier1.2版本介绍
Taier 是一个大数据分布式可视化的DAG任务调度零碎,旨在升高ETL开发成本、进步大数据平台稳定性,大数据开发人员能够在 Taier 间接进行业务逻辑的开发,而不必关怀工作盘根错节的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier 脱胎于袋鼠云数栈,技术实现来源于数栈散布式调度引擎DAGScheduleX,是数栈产品的重要基础设施之一,负责大数据平台所有工作实例的调度运行。
2022年2月22日,Taier正式开源并公布1.0版本。
2022年5月8日,Taier1.1版本公布,更新对Flink的反对降级到Flink1.12,反对多种流类型工作等性能。
2022年7月26日,Taier1.2版本公布,本次公布重点新增工作流性能,实现配置化编排业务;租户简化绑定,不同类型计算组件无强制依赖等性能。
Taier1.2新增性能详解
1.新增工作流
通过可视化操作拖动工作节点到画板中,手动连贯上下游工作组成依赖关系,造成一个DAG的工作流。同时反对任意类型的工作通过工作流拖拽的形式,间接实现配置化编排业务
2.新增OceanBase SQL
新增OceanBaseSQL 工作,反对OceanBaseSQL的任务调度和运维展现。
3.新增Flink jar工作
反对上传自定义开发的Flink jar工作,通过Taier提交运行和监控。
4. 数据同步、实时采集反对脏数据管理
数据同步、实时采集反对脏数据管理,能够配置脏数据数量限度和保留形式,可保留至数据库实时查看。
5.Hive UDF
Hive SQL 反对udf函数开发配置。
6.控制台UI降级
控制台交互和页面全新降级,通过树形构造展现组件配置信息,同时反对扩大自定义组件进行配置。
7.租户绑定简化
集群和租户绑定简化,移除租户对接集群schema的强制绑定关系,不同类型计算组件无强制依赖;优化工作开发流程逻辑,反对自定义扩大工作类型。
将来布局
Taier自往年2月份开源以来,已更新迭代Taier1.1、Taier1.2两个版本,目前Taier1.3的版本已在布局中,在新版本中咱们将着重解决以下几个问题:
- 反对Flink Standalone 不依赖Hadoop也能够应用Flink相干的性能,升高上手环境老本
- 适配开发者Window环境,反对Window环境下的工作提交流程
- DatouSourceX版本升级,新增更多的数据源类型反对
除了一直放弃迭代更新外,Taier将持续保持每月一次开源技术直播,帮忙Taier开发者们更好的应用产品,欢送有趣味的小伙伴们退出咱们的交换社群(钉钉qun:30537511),一起交换Taier的技术问题及难点,和Taier一起共同进步!
袋鼠云开源框架钉钉技术交换qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack