关于大数据:支持在-Kubernetes-运行添加多种连接器SeaTunnel-212-版本正式发布

3次阅读

共计 2153 个字符，预计需要花费 6 分钟才能阅读完成。

在 Apache SeaTunnel(Incubating) 2.1.1 公布后一个月左右的工夫里，社区承受了来自寰球的团队或集体累计近百个 PR，为大家带来 2.1.2 版本。该版本进步了稳定性，并在性能、文档、示例等方面失去优化。

本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。

Release Note:

https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md
下载地址：https://seatunnel.apache.org/download

增加 Webhook 和 Http2 种连接器，次要加强 Http 相干数据处理能力。

特别感谢 tmljob 同学的奉献。

用户能够通过该连接器实现工作的调度，事件的调度，数据的推送等各式各样的实用功能，只需输入端提供 Http 服务能力的反对即可。

详情见 https://seatunnel.apache.org/…

反对读取 Http 接口数据，为上游提供通过 Http 实现数据传输到 SeaTunnel 做进一步解决的能力，Http 是一个通用规范的接口，能够通过这种形式实现各种业务的接入。应用形式如下：

Http {
   url = "http://date.jsontest.com/"
   result_table_name= "response_body"
  }

FlinkSQL 模块增加了 Kafka 和 ElasticSearch 连接器，当初 SeaTunnel 能够用 SQL 来读取写入这些数据源的数据了。

Transfrom 方面增加了 UUID 和 Replace 的反对，能够更加灵便地对数据进行简略解决。同时反对了自定义函数的增加，帮忙用户实现各种自定义业务逻辑。

Kubernetes 曾经成为云原生时代的必备组件，SeaTunnel 天然须要提供对应的反对。

官网适配 SeaTunnel 运行在 Kubernetes，教程见

https://seatunnel.apache.org/docs/2.1.2/start/kubernetes

增加 Spark webhook connector 的反对
优化 Connector 的 Jar 包构造
增加 Spark Replace transform 组件
增加 Spark Uuid transform 组件
Flink 的 JDBC source 增加了对 Oracle 适配
增加 Flink HTTP connector 的反对
增加 Flink 注册自定义函数性能
Flink SQL 模块增加 Kafka 和 ElasticSearch connector 的反对

增加 Flink application 运行模式反对
反对 Flink 配置的动静增加

修复 Clickhouse Sink 组件局部类型转换问题
修复局部状况下 Spark 运行脚本第一次会运行失败的问题
修复局部状况下在 Spark on yarn cluster 模式无奈获取配置文件问题
修复 Spark extraJavaOptions 不能为空的问题
修复 Spark standalone cluster 模式下无奈解压外部文件问题
修复 Clickhouse Sink 无奈失常解决多节点配置问题
修复 Flink SQL 配置解析谬误
修复 Flink JDBC Mysql 类型匹配不全的问题
修复变量在 Flink 模式下无奈设置的问题
修复 SeaTunnel 在 Flink 模式下配置无奈查看的问题

降级 Jackson 版本至 12.6
增加部署 SeaTunnel 到 Kubernetes 的向导
调整局部泛型类型代码
增加 Flink SQL e2e 模块
Flink JDBC connector 增加 pre sql 和 post sql 个性
应用 @AutoService 生成 SPI 文件
Flink FakeSourceStream 反对 mock 数据
反对通过 Flink JDBC connector 读取 Hive 数据
ClickhouseFile 反对 ReplicatedMergeTree 引擎
反对 Hive sink 保留 ORC 格局数据
反对 Spark Redis sink 自定义过期工夫
增加 Spark JDBC 事务隔离级别配置
用 Jackson 替换代码里的 Fastjson

感激以下参加奉献的同学 (为 GitHub ID，排名不分先后)，正是大家的付出与致力，让咱们可能疾速推出这个版本，也欢送更多的同学参加到 Apache SeaTunnel(Incubating) 社区奉献中。

v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted

正文完