在 Apache SeaTunnel(Incubating) 2.1.1 公布后一个月左右的工夫里，社区承受了来自寰球的团队或集体累计近百个PR，为大家带来 2.1.2 版本。该版本进步了稳定性，并在性能、文档、示例等方面失去优化。

本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。

  • Release Note:

    https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md

  • 下载地址：https://seatunnel.apache.org/download

01 次要性能更新

增加Webhook和Http2种连接器，次要加强Http相干数据处理能力。

特别感谢tmljob同学的奉献。

01 Webhook

用户能够通过该连接器实现工作的调度，事件的调度，数据的推送等各式各样的实用功能，只需输入端提供Http服务能力的反对即可。

详情见https://seatunnel.apache.org/...

02 Http

反对读取Http接口数据，为上游提供通过Http实现数据传输到SeaTunnel做进一步解决的能力，Http是一个通用规范的接口，能够通过这种形式实现各种业务的接入。应用形式如下：

Http {   url = "http://date.jsontest.com/"   result_table_name= "response_body"  }

FlinkSQL模块增加了Kafka和ElasticSearch连接器，当初SeaTunnel能够用SQL来读取写入这些数据源的数据了。

Transfrom方面增加了UUID和Replace的反对，能够更加灵便地对数据进行简略解决。同时反对了自定义函数的增加，帮忙用户实现各种自定义业务逻辑。

03 反对在Kubernetes上运行SeaTunnel

Kubernetes曾经成为云原生时代的必备组件，SeaTunnel天然须要提供对应的反对。

官网适配SeaTunnel运行在Kubernetes，教程见

https://seatunnel.apache.org/docs/2.1.2/start/kubernetes

02 具体更新内容

01 [Connector]

  • 增加Spark webhook connector的反对
  • 优化Connector的Jar包构造
  • 增加Spark Replace transform组件
  • 增加Spark Uuid transform组件
  • Flink的JDBC source增加了对Oracle适配
  • 增加Flink HTTP connector的反对
  • 增加Flink注册自定义函数性能
  • Flink SQL模块增加Kafka和ElasticSearch connector的反对

02 [Core]

  • 增加Flink application运行模式反对
  • 反对Flink配置的动静增加

03 [Bug Fix]

  • 修复Clickhouse Sink组件局部类型转换问题
  • 修复局部状况下Spark运行脚本第一次会运行失败的问题
  • 修复局部状况下在Spark on yarn cluster模式无奈获取配置文件问题
  • 修复Spark extraJavaOptions 不能为空的问题
  • 修复Spark standalone cluster模式下无奈解压外部文件问题
  • 修复Clickhouse Sink无奈失常解决多节点配置问题
  • 修复Flink SQL配置解析谬误
  • 修复Flink JDBC Mysql类型匹配不全的问题
  • 修复变量在Flink模式下无奈设置的问题
  • 修复SeaTunnel在Flink模式下配置无奈查看的问题

04 优化

  • 降级Jackson版本至12.6
  • 增加部署SeaTunnel到Kubernetes的向导
  • 调整局部泛型类型代码
  • 增加Flink SQL e2e模块
  • Flink JDBC connector 增加pre sql和post sql个性
  • 应用@AutoService生成SPI文件
  • Flink FakeSourceStream反对mock数据
  • 反对通过Flink JDBC connector读取Hive数据
  • ClickhouseFile反对ReplicatedMergeTree引擎
  • 反对Hive sink保留ORC格局数据
  • 反对Spark Redis sink自定义过期工夫
  • 增加Spark JDBC事务隔离级别配置
  • 用Jackson替换代码里的Fastjson

03 致谢

感激以下参加奉献的同学(为 GitHub ID，排名不分先后)，正是大家的付出与致力，让咱们可能疾速推出这个版本，也欢送更多的同学参加到 Apache SeaTunnel(Incubating) 社区奉献中。

v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted