2022 年 11 月 7 日,Taier1.3 版本正式公布!
Taier 是一个大数据分布式可视化的 DAG 任务调度零碎,旨在升高 ETL 开发成本、进步大数据平台稳定性,大数据开发人员能够在 Taier 间接进行业务逻辑的开发,而不必关怀工作盘根错节的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier 自往年 2 月份开源之后,失去了社区开发者的广泛支持,咱们踊跃排汇社区开发者的意见建议,一直迭代版本,目前已公布了 Taier1.1、Taier1.2 这两个大的版本更新。
本次公布的 Taier1.3 版本,咱们新增了 Flink Standalone 组件,交融了 DataSourceX 的模块,并新增了 Python、Shell、ClickHouse、Doris SQL 等多种工作,工作数据源绑定,工作反对指定队列运行,并进行了部署优化,同时对官网社区的 UI 进行了全新的降级革新。
目前新版本已在 Github 与 Gitee 上线,同时应用文档也在社区推送,大家能够随时下载查阅,欢送大家返回体验(喜爱咱们的我的项目欢送大家点个 Star),体验地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev…
社区官网:
https://dtstack.github.io/Taier/
同时为了不便没有钉钉的开发者们更好的交换 Taier 开源技术,咱们新建了 Taier 开源技术微信交换群,欢送大家退出一起探讨开源技术~
Taier1.3 版本详解
01 新增 Flink Standalone
新增 Flink Standalone 组件,能够通过 Flink Standalone 应用 Flink SQL、数据同步、实时采集等工作相干性能。移除 Taier 对 Hadoop 组件的强依赖,反对轻量化的数据处理。
02 DataSourceX 交融
Taier 交融 DataSourceX 模块,移除 Taier 内部插件依赖。新增数据源插件相干个性,反对后续 Taier 对接更多的 RDBMS 类型的 SQL 工作。
03 新增 Python、Shell 工作
新增 Script 组件,反对 Python、Shell 工作类型,能够在 Taier 上通过脚本类型工作进行操作。
04 新增 ClickHouse、Doris SQL 工作
新增 ClickHouse、Doris SQL 工作类型,反对数据同步脚本模式到 ClickHouse、Doris,再进行任务调度解决。
05 工作数据源绑定
控制台组件移除 SQL 类型组件配置,SQL 工作间接和数据源相互绑定,反对工作和数据源一对一的执行,将 SQL 执行域细分到具体的单个数据源。
06 工作反对指定队列运行
Hadoop 类型工作反对指定队列运行,队列资源隔离细分到工作级别。
07 部署优化
Taier 优化单机部署,优化前后端部署操作,简化 docker 镜像部署流程,升高上手难度。
08 官网降级
Taier 社区新官网上线,UI 设计全面降级。
后续版本布局
Taier 往年更新了 3 个大的版本,依照社区规划,后续版本咱们打算重点围绕关键点:
● 欠缺 Taier Datasource 模板反对 SQL 工作
● HadoopMR、Spark Jar、PySpark 工作反对
● 工作告警
● Windows 开发环境适配
咱们欢送社区的开发者们一起参加到 Taier 的版本建设中来,同时大家如果有其余的意见建议也能够给咱们提一个 Issue 或者 PR,大家能够来一起探讨怎么更好的共建我的项目。感兴趣的小伙伴们能够退出咱们的技术交换社群,一起交换 Taier 的技术问题及难点,共建 Taier!
袋鼠云开源框架钉钉技术交换 qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack/Taier