近日,Apache SeaTunnel 正式公布 2.3.2 版本。此时间隔上一版本 2.3.1 公布已有两个多月,期间咱们收集并依据用户和开发者的反馈,在 2.3.2 版本中对 SeaTunnel Zeta Engine 进行了 Bug 修复,进步了引擎的稳定性和应用效率。
此外,新版本还对 Connector-V2 中的连接器进行了性能和性能优化,同时 SQL Transfrom 反对了自定义 UDF 函数,Zeta Engine 也提供了通过 Rest API 的形式进行集群的监控和查问操作。
本文将为大家介绍 Apache SeaTunnel 2.3.2 版本更新内容具体情况。
- Release Note: https://github.com/apache/seatunnel/blob/2.3.2-release/release-note.md
- 下载地址:https://seatunnel.apache.org/download
新性能
本次更新,Zeta Engine 反对了以 RestAPI 的形式获取工作和零碎的监控信息,用户能够通过调用 HTTP 申请到任意节点实现数据信息申请,加强了工作的监控能力。
详情可参考:https://seatunnel.apache.org/docs/2.3.2/seatunnel-engine/rest...
此外,2.3.2 版本中 SQL Transform 反对了自定义 UDF 函数,具体用法请参考:https://seatunnel.apache.org/docs/2.3.2/transform-v2/sql-udf
Core
[Core] [API] 反对将字符串转换为List<T>选项 (#4362)
[Core] [API] 在创立源、接收器和转换之前增加选项查看到FactoryUtil中 (#4424)
[Core] [Shade] 增加guava shade模块 (#4358)
Connector-V2
- [Connector-V2] [CDC] [SQLServer] 反对多表读取 (#4377)
- [Connector-V2] [Kafka] Kafka源反对跳过数据反序列化失败 (#4364)
- [Connector-V2] [Jdbc] [TiDB] 增加了TiDB目录 (#4438)
- [Connector-V2] [File] 增加了文件Excel的源和接收器 (#4164)
- [Transform-V2] 增加了UDF SPI和一个示例实现,用于SQL转换插件 (#4392)
- [Transform-V2] 反对复制字段列表 (#4404)
- [Transform-V2] 为FieldMapperTransform增加了CatalogTable反对 (#4423)
- [Transform-V2] 为ReplaceTransform增加了CatalogTable反对 (#4411)
- [Transform-V2] 为FilterRowKindTransform增加了Catalog反对 (#4420)
- [Transform-V2] 为FilterFieldTransform增加了CatalogTable反对 (#4422)
Zeta Engine
- [Zeta] 反对Factory和Plugin SPI的混合应用 (#4359)
- [Zeta] 增加了通过作业ID获取运行中作业信息的REST API (#4140)
- [Zeta] 增加了获取系统监控信息的REST API (#4315)
- [Transform V2 & Zeta] 使SplitTransform反对CatalogTable和CatalogTable演变 (#4396)
改良
Apache SeaTunnel 2.3.2 版本对 Zeta 引擎进行了稳定性修复,解决了内存占用过高不开释的问题,同时解决了大量资源占用问题,对性能也做了相应的优化。
Core
- [Core] [Spark] 将转换操作从Spark Driver推送到Executors (#4503)
- [Core] [Starter] 优化代码构造,删除冗余代码 (#4525)
- [Core] [Translation] [Flink] 优化代码构造,删除冗余代码 (#4527)
Connector-V2
- [Connector-V2] [CDC] 改良startup.mode/stop.mode选项 (#4360)
- [Connector-V2] [CDC] 优化jdbc fetch-size选项 (#4352)
- [Connector-V2] [SQLServer] 修复了SQL Server目录的问题 (#4441)
- [Connector-V2] [StarRocks] 改良StarRocks序列化谬误音讯 (#4458)
- [Connector-V2] [Jdbc] 增加了SQL日志,并更新了一些款式 (#4475)
- [Connector-V2] [Jdbc] 修复了多个表时无奈主动获取表名的问题 (#4514)
- [Connector-V2] [S3 & Kafka] 删除不可用的S3和Kafka目录 (#4477)
- [Connector-V2] [Pulsar] 反对Canal格局
Zeta Engine
- [Zeta] 反对通过守护过程模式运行服务器 (#4161)
- [Zeta] 应用ClassLoader改良客户端的SDK兼容性 (#4447)
- [Zeta] 客户端反对异步提交作业 (#4456)
- [Zeta] 减少更具体的日志输入 (#4446)
- [Zeta] 改良seatunnel-cluster.sh脚本 (#4435)
- [Zeta] 当工作未筹备好时,升高CPU耗费 (#4479)
- [Zeta] 增加解析器日志 (#4485)
- [Zeta] 删除冗余代码 (#4489)
- [Zeta] 在validateSQL中删除冗余代码 (#4506)
- [Zeta] 改良JobMetrics的性能 (#4467)
Bug修复
Core
*[Core] [API] 修复了列表的通用类失落的问题 (#4421)
*[Core] [API] 修复了解析嵌套行数据类型键变为大写的问题 (#4459)
Connector-V2
- [Json-format] [Canal-Json] 修复了JSON反序列化时的空指针异样问题 (#4195)
- [Connector-V2] [Jdbc] 修复了在JDBC源查问中不反对字段别名的问题 (#4210)
- [Connector-V2] [Jdbc] 修复了连贯超时导致连贯失败的问题 (#4322)
- [Connector-V2] [Jdbc] 将JdbcOption: generate_sink_sql的默认值设置为false (#4471)
- [Connector-V2] [Pulsar] 修复了无奈继续生产音讯的问题 (#4125)
- [Connector-V2] [Eleasticsearch] 修复了文档形容谬误的问题 (#4390)
- [Connector-V2] [Eleasticsearch] 修复了源反序列化谬误和不适当的问题 (#4233)
- [Connector-V2] [Kafka] 修复了KafkaProducer资源从未被开释的问题 (#4302)
- [Connector-V2] [Kafka] 修复了client.id导致权限问题的问题 (#4246)
- [Connector-V2] [Kafka] 修复了提交偏移谬误导致KafkaConsumerThread退出的问题 (#4379)
Zeta Engine
- [Zeta] 修复了LogicalDagGeneratorTest测试用例的问题 (#4401)
- [Zeta] 修复了MultipleTableJobConfigParser仅解析一个转换的问题 (#4412)
- [Zeta] 修复了短少common插件jar包的问题 (#4448)
- [Zeta] 修复了在检查点已实现时仍调用handleCheckpointError的问题 (#4442)
- [Zeta] 修复了作业谬误音讯不正确的bug (#4463)
- [Zeta] 修复了查找TaskGroup部署节点的bug (#4449)
- [Zeta] 修复了配置文件的bug (#4488)
- [Zeta] 修复了从zeta加载连接器的逻辑问题 (#4510)
- [Zeta] 修复了hadoop-hdfs的抵触依赖问题 (#4509)
E2E
*[E2E] [Kafka] 修复了Kafka端到端测试用例的问题 (#4520)
*[Container Version] 修复了无奈重现的测试用例危险问题 #4591
文档优化
- [Docs] 优化了Doris和SelectDB连接器文档的局部内容 (#4365)
- [Docs] 修复了文档中的代码款式问题 (#4368)
- [Docs] 更新了jdbc文档和kafka文档 (#4380)
- [Docs] 修复了max_retries默认值为0的问题 (#4383)
- [Docs] 修复了Markdown语法问题 (#4426)
- [Docs] 修复了Kafka文档谬误的配置键 "kafka." (#4427)
- [Docs] 增加了疾速入门v2中的Transform局部 (#4436)
贡献者名单
感激白鲸开源工程师 范佳 对本次版本公布的反对,以及以下社区小伙伴的奉献!
Andrew Wetmore,
Bibo,
Carl-Zhou-CN,
Cason-ACE,
Chengyu Yan,
CodingGPT,
dalong,
Eric,
FlechazoW,
Guangdong Liu,
Hao Xu,
J.A.R.V.I.S,
Kim,
Laglangyue,
Marvin,
TaoZex,
Tyrantlucifer,
Xiaojian Sun,
ZhilinLi,
Zongwen Li,
dylandai,
gnehil,
hailin0,
ic4y,
kezhenxu94,
lightzhao,
lucklilili,
lvshaokang,
mengxiaopeng,
monster,
songjianet,
stdnt-xiao,
thomasc,
will27,
wyc,
xiaofan2012,
zhilinli,
沫
本文由 白鲸开源科技 提供公布反对!