共计 2153 个字符,预计需要花费 6 分钟才能阅读完成。
在 Apache SeaTunnel(Incubating) 2.1.1 公布后一个月左右的工夫里,社区承受了来自寰球的团队或集体累计近百个 PR,为大家带来 2.1.2 版本。该版本进步了稳定性,并在性能、文档、示例等方面失去优化。
本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。
-
Release Note:
https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md
- 下载地址:https://seatunnel.apache.org/download
01 次要性能更新
增加 Webhook 和 Http2 种连接器,次要加强 Http 相干数据处理能力。
特别感谢 tmljob 同学的奉献。
01 Webhook
用户能够通过该连接器实现工作的调度,事件的调度,数据的推送等各式各样的实用功能,只需输入端提供 Http 服务能力的反对即可。
详情见 https://seatunnel.apache.org/…
02 Http
反对读取 Http 接口数据,为上游提供通过 Http 实现数据传输到 SeaTunnel 做进一步解决的能力,Http 是一个通用规范的接口,能够通过这种形式实现各种业务的接入。应用形式如下:
Http {
url = "http://date.jsontest.com/"
result_table_name= "response_body"
}
FlinkSQL 模块增加了 Kafka 和 ElasticSearch 连接器,当初 SeaTunnel 能够用 SQL 来读取写入这些数据源的数据了。
Transfrom 方面增加了 UUID 和 Replace 的反对,能够更加灵便地对数据进行简略解决。同时反对了自定义函数的增加,帮忙用户实现各种自定义业务逻辑。
03 反对在 Kubernetes 上运行 SeaTunnel
Kubernetes 曾经成为云原生时代的必备组件,SeaTunnel 天然须要提供对应的反对。
官网适配 SeaTunnel 运行在 Kubernetes,教程见
https://seatunnel.apache.org/docs/2.1.2/start/kubernetes
02 具体更新内容
01 [Connector]
- 增加 Spark webhook connector 的反对
- 优化 Connector 的 Jar 包构造
- 增加 Spark Replace transform 组件
- 增加 Spark Uuid transform 组件
- Flink 的 JDBC source 增加了对 Oracle 适配
- 增加 Flink HTTP connector 的反对
- 增加 Flink 注册自定义函数性能
- Flink SQL 模块增加 Kafka 和 ElasticSearch connector 的反对
02 [Core]
- 增加 Flink application 运行模式反对
- 反对 Flink 配置的动静增加
03 [Bug Fix]
- 修复 Clickhouse Sink 组件局部类型转换问题
- 修复局部状况下 Spark 运行脚本第一次会运行失败的问题
- 修复局部状况下在 Spark on yarn cluster 模式无奈获取配置文件问题
- 修复 Spark extraJavaOptions 不能为空的问题
- 修复 Spark standalone cluster 模式下无奈解压外部文件问题
- 修复 Clickhouse Sink 无奈失常解决多节点配置问题
- 修复 Flink SQL 配置解析谬误
- 修复 Flink JDBC Mysql 类型匹配不全的问题
- 修复变量在 Flink 模式下无奈设置的问题
- 修复 SeaTunnel 在 Flink 模式下配置无奈查看的问题
04 优化
- 降级 Jackson 版本至 12.6
- 增加部署 SeaTunnel 到 Kubernetes 的向导
- 调整局部泛型类型代码
- 增加 Flink SQL e2e 模块
- Flink JDBC connector 增加 pre sql 和 post sql 个性
- 应用 @AutoService 生成 SPI 文件
- Flink FakeSourceStream 反对 mock 数据
- 反对通过 Flink JDBC connector 读取 Hive 数据
- ClickhouseFile 反对 ReplicatedMergeTree 引擎
- 反对 Hive sink 保留 ORC 格局数据
- 反对 Spark Redis sink 自定义过期工夫
- 增加 Spark JDBC 事务隔离级别配置
- 用 Jackson 替换代码里的 Fastjson
03 致谢
感激以下参加奉献的同学 (为 GitHub ID,排名不分先后),正是大家的付出与致力,让咱们可能疾速推出这个版本,也欢送更多的同学参加到 Apache SeaTunnel(Incubating) 社区奉献中。
v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted