关于数据库:SeaTunnel-发布成为-Apache-顶级项目后首个版本-232进一步提高-Zeta-引擎稳定性和易用性

近日，Apache SeaTunnel 正式公布 2.3.2 版本。此时间隔上一版本 2.3.1 公布已有两个多月，期间咱们收集并依据用户和开发者的反馈，在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复，进步了引擎的稳定性和应用效率。

此外，新版本还对 Connector-V2 中的连接器进行了性能和性能优化，同时 SQL Transfrom 反对了自定义 UDF 函数，Zeta Engine 也提供了通过 Rest API 的形式进行集群的监控和查问操作。

本文将为大家介绍 Apache SeaTunnel 2.3.2 版本更新内容具体情况。

• Release Note: https://github.com/apache/seatunnel/blob/2.3.2-release/release-note.md
• 下载地址：https://seatunnel.apache.org/download

新性能

本次更新，Zeta Engine 反对了以 RestAPI 的形式获取工作和零碎的监控信息，用户能够通过调用 HTTP 申请到任意节点实现数据信息申请，加强了工作的监控能力。

详情可参考：https://seatunnel.apache.org/docs/2.3.2/seatunnel-engine/rest…

此外，2.3.2 版本中 SQL Transform 反对了自定义 UDF 函数，具体用法请参考：https://seatunnel.apache.org/docs/2.3.2/transform-v2/sql-udf

Core

[Core] [API] 反对将字符串转换为 List<T> 选项 (#4362)
[Core] [API] 在创立源、接收器和转换之前增加选项查看到 FactoryUtil 中 (#4424)
[Core] [Shade] 增加 guava shade 模块 (#4358)

Connector-V2

• [Connector-V2] [CDC] [SQLServer] 反对多表读取 (#4377)
• [Connector-V2] [Kafka] Kafka 源反对跳过数据反序列化失败 (#4364)
• [Connector-V2] [Jdbc] [TiDB] 增加了 TiDB 目录 (#4438)
• [Connector-V2] [File] 增加了文件 Excel 的源和接收器 (#4164)
• [Transform-V2] 增加了 UDF SPI 和一个示例实现，用于 SQL 转换插件 (#4392)
• [Transform-V2] 反对复制字段列表 (#4404)
• [Transform-V2] 为 FieldMapperTransform 增加了 CatalogTable 反对 (#4423)
• [Transform-V2] 为 ReplaceTransform 增加了 CatalogTable 反对 (#4411)
• [Transform-V2] 为 FilterRowKindTransform 增加了 Catalog 反对 (#4420)
• [Transform-V2] 为 FilterFieldTransform 增加了 CatalogTable 反对 (#4422)

Zeta Engine

• [Zeta] 反对 Factory 和 Plugin SPI 的混合应用 (#4359)
• [Zeta] 增加了通过作业 ID 获取运行中作业信息的 REST API (#4140)
• [Zeta] 增加了获取系统监控信息的 REST API (#4315)
• [Transform V2 & Zeta] 使 SplitTransform 反对 CatalogTable 和 CatalogTable 演变 (#4396)

改良

Apache SeaTunnel 2.3.2 版本对 Zeta 引擎进行了稳定性修复，解决了内存占用过高不开释的问题，同时解决了大量资源占用问题，对性能也做了相应的优化。

Core

• [Core] [Spark] 将转换操作从 Spark Driver 推送到 Executors (#4503)
• [Core] [Starter] 优化代码构造，删除冗余代码 (#4525)
• [Core] [Translation] [Flink] 优化代码构造，删除冗余代码 (#4527)

Connector-V2

• [Connector-V2] [CDC] 改良 startup.mode/stop.mode 选项 (#4360)
• [Connector-V2] [CDC] 优化 jdbc fetch-size 选项 (#4352)
• [Connector-V2] [SQLServer] 修复了 SQL Server 目录的问题 (#4441)
• [Connector-V2] [StarRocks] 改良 StarRocks 序列化谬误音讯 (#4458)
• [Connector-V2] [Jdbc] 增加了 SQL 日志，并更新了一些款式 (#4475)
• [Connector-V2] [Jdbc] 修复了多个表时无奈主动获取表名的问题 (#4514)
• [Connector-V2] [S3 & Kafka] 删除不可用的 S3 和 Kafka 目录 (#4477)
• [Connector-V2] [Pulsar] 反对 Canal 格局

Zeta Engine

• [Zeta] 反对通过守护过程模式运行服务器 (#4161)
• [Zeta] 应用 ClassLoader 改良客户端的 SDK 兼容性 (#4447)
• [Zeta] 客户端反对异步提交作业 (#4456)
• [Zeta] 减少更具体的日志输入 (#4446)
• [Zeta] 改良 seatunnel-cluster.sh 脚本 (#4435)
• [Zeta] 当工作未筹备好时，升高 CPU 耗费 (#4479)
• [Zeta] 增加解析器日志 (#4485)
• [Zeta] 删除冗余代码 (#4489)
• [Zeta] 在 validateSQL 中删除冗余代码 (#4506)
• [Zeta] 改良 JobMetrics 的性能 (#4467)

Bug 修复

Core

*[Core] [API] 修复了列表的通用类失落的问题 (#4421)
*[Core] [API] 修复了解析嵌套行数据类型键变为大写的问题 (#4459)

Connector-V2

• [Json-format] [Canal-Json] 修复了 JSON 反序列化时的空指针异样问题 (#4195)
• [Connector-V2] [Jdbc] 修复了在 JDBC 源查问中不反对字段别名的问题 (#4210)
• [Connector-V2] [Jdbc] 修复了连贯超时导致连贯失败的问题 (#4322)
• [Connector-V2] [Jdbc] 将 JdbcOption: generate_sink_sql 的默认值设置为 false (#4471)
• [Connector-V2] [Pulsar] 修复了无奈继续生产音讯的问题 (#4125)
• [Connector-V2] [Eleasticsearch] 修复了文档形容谬误的问题 (#4390)
• [Connector-V2] [Eleasticsearch] 修复了源反序列化谬误和不适当的问题 (#4233)
• [Connector-V2] [Kafka] 修复了 KafkaProducer 资源从未被开释的问题 (#4302)
• [Connector-V2] [Kafka] 修复了 client.id 导致权限问题的问题 (#4246)
• [Connector-V2] [Kafka] 修复了提交偏移谬误导致 KafkaConsumerThread 退出的问题 (#4379)

Zeta Engine

• [Zeta] 修复了 LogicalDagGeneratorTest 测试用例的问题 (#4401)
• [Zeta] 修复了 MultipleTableJobConfigParser 仅解析一个转换的问题 (#4412)
• [Zeta] 修复了短少 common 插件 jar 包的问题 (#4448)
• [Zeta] 修复了在检查点已实现时仍调用 handleCheckpointError 的问题 (#4442)
• [Zeta] 修复了作业谬误音讯不正确的 bug (#4463)
• [Zeta] 修复了查找 TaskGroup 部署节点的 bug (#4449)
• [Zeta] 修复了配置文件的 bug (#4488)
• [Zeta] 修复了从 zeta 加载连接器的逻辑问题 (#4510)
• [Zeta] 修复了 hadoop-hdfs 的抵触依赖问题 (#4509)

E2E

*[E2E] [Kafka] 修复了 Kafka 端到端测试用例的问题 (#4520)
*[Container Version] 修复了无奈重现的测试用例危险问题 #4591

文档优化

• [Docs] 优化了 Doris 和 SelectDB 连接器文档的局部内容 (#4365)
• [Docs] 修复了文档中的代码款式问题 (#4368)
• [Docs] 更新了 jdbc 文档和 kafka 文档 (#4380)
• [Docs] 修复了 max_retries 默认值为 0 的问题 (#4383)
• [Docs] 修复了 Markdown 语法问题 (#4426)
• [Docs] 修复了 Kafka 文档谬误的配置键 “kafka.” (#4427)
• [Docs] 增加了疾速入门 v2 中的 Transform 局部 (#4436)

贡献者名单

感激白鲸开源工程师 范佳 对本次版本公布的反对，以及以下社区小伙伴的奉献！

Andrew Wetmore,

Bibo,

Carl-Zhou-CN,

Cason-ACE,

Chengyu Yan,

CodingGPT,

dalong,

Eric,

FlechazoW,

Guangdong Liu,

Hao Xu,

J.A.R.V.I.S,

Kim,

Laglangyue,

Marvin,

TaoZex,

Tyrantlucifer,

Xiaojian Sun,

ZhilinLi,

Zongwen Li,

dylandai,

gnehil,

hailin0,

ic4y,

kezhenxu94,

lightzhao,

lucklilili,

lvshaokang,

mengxiaopeng,

monster,

songjianet,

stdnt-xiao,

thomasc,

will27,

wyc,

xiaofan2012,

zhilinli,

沫

本文由 白鲸开源科技 提供公布反对！