2022年11月7日,Taier1.3版本正式公布!
Taier 是一个大数据分布式可视化的DAG任务调度零碎,旨在升高ETL开发成本、进步大数据平台稳定性,大数据开发人员能够在 Taier 间接进行业务逻辑的开发,而不必关怀工作盘根错节的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
Taier自往年2月份开源之后,失去了社区开发者的广泛支持,咱们踊跃排汇社区开发者的意见建议,一直迭代版本,目前已公布了Taier1.1、Taier1.2这两个大的版本更新。
本次公布的Taier1.3版本,咱们新增了Flink Standalone组件,交融了DataSourceX的模块,并新增了Python、Shell、ClickHouse、Doris SQL等多种工作,工作数据源绑定,工作反对指定队列运行,并进行了部署优化,同时对官网社区的UI进行了全新的降级革新。
目前新版本已在Github与Gitee上线,同时应用文档也在社区推送,大家能够随时下载查阅,欢送大家返回体验(喜爱咱们的我的项目欢送大家点个Star),体验地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev...
社区官网:
https://dtstack.github.io/Taier/
同时为了不便没有钉钉的开发者们更好的交换Taier开源技术,咱们新建了Taier开源技术微信交换群,欢送大家退出一起探讨开源技术~
Taier1.3版本详解
01 新增Flink Standalone
新增Flink Standalone组件,能够通过Flink Standalone应用Flink SQL、数据同步、实时采集等工作相干性能。移除Taier对Hadoop组件的强依赖,反对轻量化的数据处理。
02 DataSourceX交融
Taier交融DataSourceX模块,移除Taier内部插件依赖。新增数据源插件相干个性,反对后续Taier对接更多的RDBMS类型的SQL工作。
03 新增Python、Shell工作
新增Script组件,反对Python、Shell工作类型,能够在Taier上通过脚本类型工作进行操作。
04 新增ClickHouse、Doris SQL工作
新增ClickHouse、Doris SQL工作类型,反对数据同步脚本模式到ClickHouse、Doris,再进行任务调度解决。
05 工作数据源绑定
控制台组件移除SQL类型组件配置,SQL工作间接和数据源相互绑定,反对工作和数据源一对一的执行,将SQL执行域细分到具体的单个数据源。
06 工作反对指定队列运行
Hadoop类型工作反对指定队列运行,队列资源隔离细分到工作级别。
07 部署优化
Taier优化单机部署,优化前后端部署操作,简化docker镜像部署流程,升高上手难度。
08 官网降级
Taier社区新官网上线,UI设计全面降级。
后续版本布局
Taier往年更新了3个大的版本,依照社区规划,后续版本咱们打算重点围绕关键点:
● 欠缺Taier Datasource 模板反对SQL工作
● HadoopMR、Spark Jar、PySpark 工作反对
● 工作告警
● Windows开发环境适配
咱们欢送社区的开发者们一起参加到Taier的版本建设中来,同时大家如果有其余的意见建议也能够给咱们提一个Issue或者PR,大家能够来一起探讨怎么更好的共建我的项目。感兴趣的小伙伴们能够退出咱们的技术交换社群,一起交换Taier的技术问题及难点,共建Taier!
袋鼠云开源框架钉钉技术交换qun(30537511),欢送对大数据开源我的项目有趣味的同学退出交换最新技术信息,开源我的项目库地址:https://github.com/DTStack/Taier