关于大数据:开源项目丨-Taier-11-版本正式发布新增功能一览为快

58次阅读

共计 1567 个字符,预计需要花费 4 分钟才能阅读完成。

2022 年 5 月 8 日,Taier 1.1 版本正式公布!

本次版本更新对 Flink 的反对降级到 Flink1.12,反对多种流类型工作,新版本的应用文档已在社区中推送,大家能够随时下载查阅。

github 地址:

https://github.com/DTStack/Taier

gitee 地址:

https://gitee.com/dtstack_dev…

Taier 1.1 版本介绍

Taier 是一个分布式可视化的 DAG 任务调度零碎,是数栈数据中台整体架构的重要枢纽,负责调度日常宏大的任务量。

它旨在升高 ETL 开发成本,进步大数据平台稳定性,让大数据开发人员能够在 Taier 间接进行业务逻辑的开发,而不必关怀工作盘根错节的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier1.0 版本于 2022 年 2 月公布,在 1.0 版本公布的第二天,1.1 版本的迭代就已提上日程,并于昨日正式公布。

本次版本更新,着重解决了 Taier 的适配性问题:对 Flink 的反对降级到 1.12;Taier 中的 Spark SQL 和 Flink SQL 两个组件也实现了反对用户在工作中自定义函数,显著让 Taier 的延展性有了更好的施展;新增了许多例如 Hive SQL 类型工作、实时工作运维等弱小性能。

这次版本更新对 Taier 的固有劣势进行了坚固,同时也强化并改善了用户体验,进一步精细化晋升产品性能。

Taier 1.1 性能详解

01 对 Flink 版本反对降级到 1.12

Taier 作为一个分布式可视化的 DAG 任务调度零碎,采纳 ChunJun 作为分布式数据同步工具。1.1 版本将 Flink 版本升级到 1.12,反对 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生语法及 Function

02 数据同步反对脚本模式、增量同步

数据同步工作除向导模式外,1.1 版本新增数据同步脚本模式。脚本模式通过 json 的形式配置,无需依赖 datasourcex 的反对的数据源,间接通过 json 配置的形式提交工作,脚本模式的 json 格局无缝兼容 ChunJun 的数据格式,用户能够通过脚本模式调试各类数据源的数据同步。

03 新增 Hive SQL

Apache Hive 是一个构建于 Hadoop 顶层的数据仓库,能够将结构化的数据文件映射为一张数据库表,并提供简略的 SQL 查问性能,能够将 SQL 语句转换为 MapReduce 工作进行运行。Taier1.1 版本新增 Hive SQL,反对对接 Hive 的不同版本。

04 新增多种实时类型工作

新增实时采集工作,反对将 MySQL、Oracle 的数据同步至 Kafka。

新增 Flink SQL 工作,通过规范 SQL 语义的开发帮忙疾速实现数据工作的配置工作。

05 新增实时工作运维

可通过实时运维核心查看实时工作的相干指标信息以及工作的具体日志信息。

06 反对用户自定义函数

用户自定义函数(User Defined Function,简称 UDF),是用户除了应用零碎函数外,自行创立的函数,用于满足个性化的计算需要。自定义函数在应用上与一般的零碎函数相似。

目前 Taier1.1 版本 Spark SQL 和 Flink SQL 工作均反对自定义函数。

07 全新暗黑主题上线

Taier 开发界面暗黑主题上线,提供多种主题切换,用户可自行抉择。Taier 1.1 可反对用户自由选择 Dark Default 主题或 Light Default 主题等等界面风格,用户体验显著晋升。

将来布局

Taier 作为一个新开源的我的项目,咱们的迭代和更新始终在进行中,后续 Taier 将在扩展性、用户自主性方向上持续摸索扩大,比方咱们正在致力让用户能够基于 Taier 去自定义开发本人须要的类型工作等等。

Taier 的每一次提高都离不开社区开发者们的帮忙和倡议,心愿大家放弃关注,和 Taier 一起继续前进,一直攀登新高峰!

正文完
 0