乐趣区

关于大数据:支持在-Kubernetes-运行添加多种连接器SeaTunnel-212-版本正式发布

jiezi

在 Apache SeaTunnel(Incubating) 2.1.1 公布后一个月左右的工夫里，社区承受了来自寰球的团队或集体累计近百个 PR，为大家带来 2.1.2 版本。该版本进步了稳定性，并在性能、文档、示例等方面失去优化。

本文将为大家介绍 Apache SeaTunnel (Incubating) 2.1.2 版本更新内容。

  • Release Note:

    https://github.com/apache/incubator-seatunnel/blob/2.1.2/release-note.md

  • 下载地址：https://seatunnel.apache.org/download

01 次要性能更新

增加 Webhook 和 Http2 种连接器，次要加强 Http 相干数据处理能力。

特别感谢 tmljob 同学的奉献。

01 Webhook

用户能够通过该连接器实现工作的调度，事件的调度，数据的推送等各式各样的实用功能，只需输入端提供 Http 服务能力的反对即可。

详情见 https://seatunnel.apache.org/…

02 Http

反对读取 Http 接口数据，为上游提供通过 Http 实现数据传输到 SeaTunnel 做进一步解决的能力，Http 是一个通用规范的接口，能够通过这种形式实现各种业务的接入。应用形式如下：

Http {
   url = "http://date.jsontest.com/"
   result_table_name= "response_body"
  }

FlinkSQL 模块增加了 Kafka 和 ElasticSearch 连接器，当初 SeaTunnel 能够用 SQL 来读取写入这些数据源的数据了。

Transfrom 方面增加了 UUID 和 Replace 的反对，能够更加灵便地对数据进行简略解决。同时反对了自定义函数的增加，帮忙用户实现各种自定义业务逻辑。

03 反对在 Kubernetes 上运行 SeaTunnel

Kubernetes 曾经成为云原生时代的必备组件，SeaTunnel 天然须要提供对应的反对。

官网适配 SeaTunnel 运行在 Kubernetes，教程见

https://seatunnel.apache.org/docs/2.1.2/start/kubernetes

02 具体更新内容

01 [Connector]

  • 增加 Spark webhook connector 的反对
  • 优化 Connector 的 Jar 包构造
  • 增加 Spark Replace transform 组件
  • 增加 Spark Uuid transform 组件
  • Flink 的 JDBC source 增加了对 Oracle 适配
  • 增加 Flink HTTP connector 的反对
  • 增加 Flink 注册自定义函数性能
  • Flink SQL 模块增加 Kafka 和 ElasticSearch connector 的反对

02 [Core]

  • 增加 Flink application 运行模式反对
  • 反对 Flink 配置的动静增加

03 [Bug Fix]

  • 修复 Clickhouse Sink 组件局部类型转换问题
  • 修复局部状况下 Spark 运行脚本第一次会运行失败的问题
  • 修复局部状况下在 Spark on yarn cluster 模式无奈获取配置文件问题
  • 修复 Spark extraJavaOptions 不能为空的问题
  • 修复 Spark standalone cluster 模式下无奈解压外部文件问题
  • 修复 Clickhouse Sink 无奈失常解决多节点配置问题
  • 修复 Flink SQL 配置解析谬误
  • 修复 Flink JDBC Mysql 类型匹配不全的问题
  • 修复变量在 Flink 模式下无奈设置的问题
  • 修复 SeaTunnel 在 Flink 模式下配置无奈查看的问题

04 优化

  • 降级 Jackson 版本至 12.6
  • 增加部署 SeaTunnel 到 Kubernetes 的向导
  • 调整局部泛型类型代码
  • 增加 Flink SQL e2e 模块
  • Flink JDBC connector 增加 pre sql 和 post sql 个性
  • 应用 @AutoService 生成 SPI 文件
  • Flink FakeSourceStream 反对 mock 数据
  • 反对通过 Flink JDBC connector 读取 Hive 数据
  • ClickhouseFile 反对 ReplicatedMergeTree 引擎
  • 反对 Hive sink 保留 ORC 格局数据
  • 反对 Spark Redis sink 自定义过期工夫
  • 增加 Spark JDBC 事务隔离级别配置
  • 用 Jackson 替换代码里的 Fastjson

03 致谢

感激以下参加奉献的同学 (为 GitHub ID，排名不分先后)，正是大家的付出与致力，让咱们可能疾速推出这个版本，也欢送更多的同学参加到 Apache SeaTunnel(Incubating) 社区奉献中。

v-wx-v, GezimSejdiu, zhongjiajie, CalvinKirs, ruanwenjun, tmljob, Hisoka-X, 1996fanrui, wuchunfu, legendtkl, mans2singh, whb-bigdata, xpleaf, wuzhenhua01, chang-wd, quanzhian, taokelu, gleiyu, chenhu, dijiekstra, tobezhou33, LingangJiang, mosence, asdf2014, waywtdcc, Emor-nj, dik111, forecasted

退出移动版