乐趣区

关于数据库:Apache-SeaTunnel-234-版本发布功能升级性能提升

jiezi

​Apache SeaTunnel 团队骄傲地发表 2.3.4 版本正式公布！本次更新聚焦于加强外围性能，改善用户体验，并进一步优化文档品质。

此次版本公布带来了多项重要更新和性能加强，包含外围与 API 的修复、文档的全面优化、Catalog 反对的引入，以及多表同步的实现等，旨在为开发者提供更加弱小和便捷的数据处理能力。

外围性能一览

文档

  • 文档构造对立 ：咱们对文档构造进行了全面优化，使构造更加清晰，便于开发者查找和浏览。
  • 减少示例 ：每个要害个性当初都附带了相应的示例，帮忙开发者更好地了解和利用。
  • JDBC 连接器文档拆分 ：针对不同数据库的非凡参数，咱们对 JDBC 连接器文档进行了拆分，每个数据库都有专门的文档。
  • 设计文档同步到 Wiki：为了不便开发者浏览和进行二次开发，咱们将设计文档同步到了 Wiki。

Catalog 反对

重构代码增加了 Catalog 接口 设计文档：https://cwiki.apache.org/confluence/display/SEATUNNEL/STIP5-R…

  • 获取到的表构造更准确，表构造的主动迁徙、转换成为可能。
  • 对立 CatalogTable 的利用，模型推演贯通整个数据流。
  • 多表同步有了实现的构架根底。

多表同步——多表读取

反对在一个 Source 中配置读取多张表

设计文档：https://cwiki.apache.org/confluence/display/SEATUNNEL/STIP4-J…

多表同步——多表写入

反对在一个 Sink 多表写入：更省资源（无网络 IO 开销，JDBC 连接数可控）

设计文档：https://cwiki.apache.org/confluence/display/SEATUNNEL/STIP3-S…

  • 反对多个表之间 JDBC 连贯共享
  • CDC 同步场景下，Sink 反对单表多线程解决，晋升写入性能。
  • 反对指定线程数，线程资源更可控

SaveMode

设计文档 ：https://cwiki.apache.org/confluence/pages/viewpage.action?pag…

  • 已有表构造解决，反对指标表不存在时主动创立。真正的解放两手。
  • 已有数据处理，反对删除数据，追加写入
  • 自定义 SQL(相当于 presql 性能)

离线同步

基于主键和惟一索引的主动分片，升高应用门槛：无论是离线同步还是 CDC 同步的历史同步阶段，SeaTunnel 都会主动通过 catalog 获取表构造信息查问表中的主键和惟一索引字段。SeaTunnel 会优先应用主键字段进行分片，没有主键字段时应用惟一索引字段进行分片。如果有联结主键或联结惟一索引，默认应用第一个字段进行分片。

更多的分片算法反对，之前的版本中当表中的数据分布不平均时（散布因子与 1 的差别较大）会通过 SQL 在源表进行抽样的形式进行分片，这种形式须要用到源数据库的打算资源，通过测试 8c16g 的 mysql 数据库中一张有 5 亿行记录的表抽样的 SQL 须要几个小时能力计算出后果，为了解决这个问题 SeaTunnel 放弃了应用 SQL 在源表进行抽样的算法，改为间接查问分片字段的所有值，并在 SeaTunnel 中进行抽样，能够将抽样的工夫缩短到 20 分钟以内。

反对敞开 checkpoint，再也不会 checkpoint 超时了：2.3.3 版本及以前的版本，SeaTunnel 离线同步工作也默认开启了 checkpoint，因为 checkpoint 机制依赖正当的分片设置，在抽取的表无奈进行分片或者因为设置不当导致单个分片过大时，就会导致 checkpoint 超时，影响同步工作稳定性。2.3.4 版本中默认敞开了离线同步的 checkpoint 性能，不再会呈现 checkpoint 超时的问题。如果用户心愿离线同步可能断点续传，能够通过参数设置手工开始 checkpoint 性能。

反对工作级别的 checkpoint 超时设置。能够给每个工作设置不同的 checkpoint 超时时长。

CDC 同步

  • 更多的数据库反对

PostgreSQL CDC

Oracle CDC

  • Flink 引擎反对运行 CDC 工作

2.3.4 版本更新阐明

Bug 修复

Core

  • [Core] [API] 修复了列表中泛型类失落的问题 (#4421)
  • [Starter] 修复了在 [] 中 “,” 被分隔的问题 (#5401)
  • [Core] [API] 修复了 ReadonlyConfig 键失落谬误 (#5565)
  • [Core] [API] 修复了从 LinkHashMap 获取字节的问题 (#5622)
  • [Core] [API] 修复了多表接收器敞开时的日志谬误 (#5683)
  • [Core] [API] 修复了 MultiTableSink 返回提交器但接收器不反对的问题 (#5710)
  • [Core] [API] 修复了解析不反对类型的模式时的谬误音讯 (#5790)
  • [Core] [API] 修复了 OptionUtilTest.test 的不稳固测试 (#5894)
  • [Core] [API] 修复了 SaveModeHandler 未敞开的问题 (#5843)
  • [Core] [API] 修复了 MultiTableSinkWriter 线程索引始终为 1 的问题 (#5832)
  • [Core] [API] 修复了 SeaTunnelRow::getBytesSize 不反对映射接口的问题 (#5990)
  • [Core] [Common] 修复了 FileUtils::createNewFile 未创立新文件的问题 (#5943)
  • [Core] [API] 修复了 Debezium 格局无奈解析日期 / 工夫 / 工夫戳的问题 (#5887)
  • [Starter] 当在双引号内时，’,’ 被视为一般字符而不是分隔符 (#6042)
  • [Core] [Common] 替换 CommonErrorCodeDeprecated.JSON_OPERATION_FAILED (#5978)
  • [Core] [API] 修复 Object.class 选项值无奈返回正常值的问题 (#6247)

转换器 -V2

  • [All] 修复转换中的 PrimaryKey 问题 (#5704)
  • [All] 修复转换为工夫戳、日期、工夫的 bug (#5812)

格局

  • [Text] 容许映射中的条目为 null 并容许条目中的键为 null (#5277)

连接器 -V2

  • [Connector-V2] [Clickhouse] 修复了 Clickhouse 旧版本兼容性问题 (#5326)
  • [Connector-V2] [Clickhouse] 修复了 http 头笼罩问题 (#5446)
  • [Connector-V2] [StarRocks] 修复了 starrocks 模板 sql 解析器问题 (#5332)
  • [Connector-V2] [Hive] 修复了 hive-site.xml 无奈注入 HiveConf 的问题 (#5261)
  • [Connector-V2] [Clickhouse] 修复了 clickhouse 接收器刷新 bug (#5448)
  • [Connector-V2] [Hive] 修复了读取空目录时产生的谬误 (#5427)
  • [Connector-V2] [Oss jindo] 修复了 jindo 驱动下载失败的问题 (#5511)
  • [Connector-V2] [Oss jindo] 移除无用代码 (#5540)
  • [Connector-V2] [File] 修复了 WriteStrategy 并行写入线程不平安问题 (#5546)
  • [Connector-V2] [CDC] 修复了原始表删除字段时 CDC 呈现的 NPE bug (#5579)
  • [Connector-V2] [Jdbc] 修复了 oracle catalog 创立表反复和 oracle pg 空指针问题 (#5517)
  • [Connector-V2] [CDC] 修复了 cdc 枚举器中线程不平安的汇合容器问题 (#5614)
  • [Connector-V2] [Mongodb] 修复了由 bsonNull 引起的不反对异样 (#5659)
  • [Connector-V2] [File] 修复了文件接收器 isPartitionFieldWriteInFile 在未给出列时呈现的异样 (#5508)
  • [Connector-V2] [Doris] 修复了 RestService 报空指针异样 (#5319)
  • [Connector-V2] [MaxCompute] 修复了 MaxCompute 应用不存在的 SCHEMA 选项 (#5708)
  • [Connector-V2] [Doris] 应用 try-with-resources 简化代码 (#4995)
  • [Connector-V2] [Clickhouse] 修复了 clickhouse-sink 输入数据字段程序错乱的 BUG (#5346)
  • [Connector-V2] [Jdbc] 反对 postgresql xml 类型 (#5724)
  • [Connector-V2] [Jdbc] 可空列源数据中的 null 数据可能导致意外后果 (#5560)
  • [Connector-V2] [Iceberg] Iceberg 源在并行度选项下数据失落 (#5732)
  • [Connector-V2] [Jdbc] 修复 PG 应用主动创立表时不会创立索引 (#5721)
  • [Connector-V2] [Jdbc] 修复数据库标识符 (#5756)
  • [Connector-V2] [CDC] 修复增加新表时 MultiTableSink 复原失败 (#5746)
  • [Connector-V2] [CDC] 修复 Postgres 创立表测试用例失败 (#5778)
  • [Connector-V2] [CDC] 清理未应用的代码 (#5785)
  • [Connector-V2] [CDC] 修复从单表切换到多表时状态复原谬误 (#5784)
  • [Connector-V2] [ElasticSearch] 修复 elasticsearch 数组格局的转换异样 (#5825)
  • [Connector-V2] [Jdbc] 修复从 Oracle 读取日期类型值时失落工夫 (#5814)
  • [Connector-V2] [Pulsar] 修复：更新 IDENTIFIER = Pulsar，对于 pulsar-datasource 在我的项目：seatunnel-web (#5852)
  • [Connector-V2] [Jdbc] 修复 Hive-Jdbc 应用 krb5 时笼罩 kerberosKeytabPath (#5891)
  • [Connector-V2] [InfluxDB] 解决在 initColumnsIndex 办法中间接应用 ‘tz’ 函数附加 QUERY_LIMIT 导致的有效 SQL (#4829)
  • [Connector-V2] [Jdbc] 修复 cdc 更新时未过滤雷同主键 (#5923)
  • [Connector-V2] [File] Parquet 读取器解析数组类型异样 (#4457)
  • [Connector-V2] [Http] 修复 http 配置无 schema 选项的 bug 并改良 e2e 测试增加案例 (#5939)
  • [Connector-V2] [Doris] 修复 DorisCatalog 未实现 name 办法 (#5988)
  • [Connector-V2] [TDengine] 修复多个并行度影响驱动加载的水平 (#6020)
  • [Connector-V2] [Jdbc] 修复 jdbc setFetchSize 谬误 (#6005)
  • [Connector-V2] [CDC] 修复 CDC 作业复原运行后无奈生产增量数据 (#625) (#6094)
  • [Connector-V2] [File] 修复从 Excel 文件读取异样数据的问题 (#5932)
  • [Connector-V2] [CDC] 修复为复原作业增加表时导致的 NPE (#6145)
  • [Connector-V2] [Jdbc] 修复 dameng catalog 查问表 sql (#6141)
  • [Connector-V2] [Jdbc] 更新 pgsql catalog 以反对保留模式 (#6080)
  • [Connector-V2] [Jdbc] 修复在大量反复数据状况下的 Spliter 谬误 (#6026)
  • [Connector-V2] [CDC] 修复作业复原后增加的列无奈解析 (#6118)
  • [Connector-V2] [CDC] 修复 CDCRecordEmitDelay 指标中的负值 (#6259)
  • [Connector-V2] [CDC] 修复没有主键时有效的拆分键 (#6251)

Zeta(ST- 引擎)

  • [Zeta] 修复 NotifyTaskRestoreOperation npe (#5362)
  • [Zeta] 修复 Zeta 会敞开工作两次的谬误 (#5422)
  • [Zeta] 禁用 CheckpointTimeOutTest (#5438)
  • [Zeta] 修复 CDC 工作复原抛出 NPE (#5507)
  • [Zeta] 同一类型的多个接收器动作具备雷同名称 (#5499)
  • [Zeta] Checkpoint 异样状态音讯不包含状态数据 (#5547)
  • [Zeta] 修复与检查点相干的内存透露问题 (#5539)
  • [Zeta] 修复检查点被长时间阻塞的问题 (#5695)
  • [Zeta] 修复作业状态不稳固的问题 (#5450)
  • [Zeta] 修复提交作业 API (#5702)
  • [Zeta] 将默认 DeployMode 设置为 DeployMode.CLIENT (#5783)
  • [Zeta] 应用中文名称提交作业时，rest api 返回乱码名称 (#5870)
  • [Zeta] 修复 CheckpointCoordinator 在未存在待处理检查点时报告 NPE (#5909)
  • [Zeta] 修复提交作业时存在雷同作业名称的谬误 (#6041)
  • [Zeta] 修复因为没有状态参数而导致返回列表为空的问题 (#6040)
  • [Zeta] 修复 zeta 调度器 bug (#6050)
  • [Zeta] 修复作业在最初一个检查点失败时无奈复原的问题 (#6193)
  • [Zeta] [Rest-API] 从非流动主节点提交或进行作业 (#6217)

E2E

  • [E2E] [Common] 更新 seatunnel 引擎的测试容器版本 (#5323)
  • [E2E] [Jdbc] 修复 jdbc 套件测试实现后未移除 docker 镜像的问题 (#5586)
  • [E2E] [ClickHouse] 加强 ClickHouse E2E 测试以触发多个检查点 (#5476)
  • [E2E] 修复 jdbc 套件测试实现后未移除 docker 镜像的问题 (#5586)
  • [E2E] 修复 ConnectorPackageServiceContainer 未实现 getSavePointCommand/getRestoreCommand 的问题 (#5780)
  • [E2E] 修复因 JdbcHiveIT 和 SparkSinkTest 导致的构建失败 (#5798)
  • [E2E] 修复提交作业案例谬误 (#6059)
  • [E2E] 修复与动作相干的谬误 (#6264)
  • [E2E] 将 mysql 容器版本锁定为 8.0 (#6263)

CI

  • [CI] 修复 jindo oss 连接器名称问题 (#5385)
  • [Build] 修复 fork 仓库不是最新时的谬误音讯 (#5497)
  • [CI] 修复 CI 在 fork 仓库中运行时未查看文件更改的问题 (#5515)
  • [CI] 移除 jindo 依赖 (#5528)
  • [CI] 修复 phoenix ci 谬误 (#5530)
  • [Build] 更新构建版本为 2.3.4-SNAPSHOT (#5619)
  • [Build] 确保 install-plugin.sh 脚本与 Debian 上的 sh 兼容 #5630 (#5631)
  • [CI] [Chore] 移除无用的 sonar 查看脚本 (#5665)
  • [Chore] 移除 DISCLAIMER 文件 (#5673)
  • [CI] 修复 CI 不稳固问题 (#5896)
  • [Build] 修复 config/plugin_config 中的空行导致的构建失败 (#5921)
  • [CI] 修复 CI 未在更改 api 时运行 Kudu/AmazonSQS IT 的问题 (#5955)
  • [CI] 将 doris e2e 分成独自的模块 (#5999)
  • [CI] 修复死链接查看器失败 (#6016)
  • [CI] 修复 e2e 谬误 (#6018)
  • [Build] 更新 pom.xml (#6113)
  • [Build] 解决示例运行失败的问题 (#6173)
  • [Build] 修复构建谬误 (#6196)
  • [CI] 修复引擎客户端未敞开的问题 (#6241)

示例

  • [Examples] 批改转换 URL 链接 (#5298)

改良

  • [Improve][CheckStyle] 移除 checkstyle 中无用的 ‘SuppressWarnings’ 注解 (#5260)
  • [Improve][CheckStyle] 调整 spotless 插件的阶段以实用于公布插件 (#5607)

Core

  • [Core] [API] 移除 CatalogTableUtil 中的 CatalogTable 字段 (#5521)
  • [Core] [API] 将获取模式逻辑从 Config 挪动到 ReadonlyConfig (#5534)
  • [Starter] 当发现一个 pluginIdentifier 对应多个连接器 jar 时抛出 IllegalArgumentException (#5551)
  • [Core] [API] 重构 CatalogTable 并增加 SeaTunnelSource::getProducedCatalogTables (#5562)
  • [Core] [API] 在模式中反对配置列 / 主键 / 束缚键 (#5564)
  • [Core] [API] 移除 ReadonlyConfig 扁平化个性的无用性能 (#5612)
  • [Core] [Flink & Spark] 重构 Spark/Flink 执行处理器 (#5595)
  • [Core] [API] 标记 SeaTunnelPluginLifeCycle 为废除 (#5625)
  • [Core] [API] 反对为模式配置 tableIdentifier (#5628)
  • [Core] [Pom] 在根 pom 中增加 junit4 (#5611)
  • [Core] [API] 移除配置文件中的 catalog 标签 (#5645)
  • [Core] [API] 移除来自 setTypeInfo 的无用转换代码 (#5647)
  • [Core] [API] 确保 CatalogTable 选项和 partitionKeys 是可变的 (#5681)
  • [Core] [API] 为 SeaTunnelSource::getProducedType 增加默认实现 (#5670)
  • [Core] [API] 为 SeaTunnelSink::setTypeInfo 增加默认实现 (#5682)
  • [Core] [API] 增加应用后备键的正告 (#5753)
  • [Core] [API] 调整 flink 和 spark 引擎的睡眠模式与 zeta 统一 (#5698)
  • [Core] [API] 移除 Factory 选项以防止无用信息 (#5754)
  • [Core] [API] 将字段名称增加到 DataTypeConvertor 以改善谬误音讯 (#5782)
  • [Core] [API] 移除应用 SeaTunnelSink::getConsumedType 办法并将其标记为废除 (#5755)
  • [Core] [Common] 移除 assert 关键字 (#5915)
  • [Core] [Common] 清理流量控制代码 (#5991)
  • [Core] [Common] 将 FILE_OPERATION_FAILED 适配为 CommonError (#5928)
  • [Core] [API] 为 Column 增加 serialVersionUID
  • [Core] [Common] 将 SupportResourceShare 扩大到 spark/flink (#5847)
  • [Core] [API] 如果禁用检查点，则移除检查点超时查看 (#6231)

格局

  • [Json] 应用动态对象映射器代替每次创立它 (#5460)
  • [Json] 移除 assert 关键字 (#5919)
  • [Formats] 替换 CommonErrorCodeDeprecated.JSON_OPERATION_FAILED (#5948)
  • [Formats] 重构 ignoreParseErrors 的异样捕捉 (#6065)
  • [Formats] 在 seatunnel-format-compatible-debezium-json 中应用数字格局解析 Decimal 类型 (#5803)
  • [Text] 增加 dateTimeFormatter 以解析 ISO8601 (#5974)
  • [Formats] 替换 CommonErrorCodeDeprecated.JSON_OPERATION_FAILED (#5948)

连接器 -V2

  • [Connector-V2] [IoTDB] 移除 IoTDB 接收器中的调度器 (#5270)
  • [Connector-V2] [InfluxDB] 移除 InfluxDB 接收器中的调度器 (#5271)
  • [Connector-V2] [Dynamodb] 移除 Dynamodb 接收器中的调度器 (#5248)
  • [Connector-V2] [StarRocks] 移除 StarRocks 接收器中的调度器 (#5269)
  • [Connector-V2] [CDC] 防止在不必要的数据库下列出表 (#5365)
  • [Connector-V2] [Jdbc] 重构 AbstractJdbcCatalog (#5096)
  • [Connector-V2] [CDC] 反对在 flink 上运行 cdc 作业 (#4918)
  • [Connector-V2] [Assert] 反对 ‘DECIMAL’ 类型并修复 ‘Number’ 类型精度问题 (#5479)
  • [Connector-v2] [Redis] Redis 反对抉择数据库 (#5570)
  • [Connector-v2] [CDC] 应用 Source 输入 CatalogTable (#5626)
  • [Connector-v2] [CDC] 增加 dataType datetimeoffset (#5548)
  • [Connector-v2] [Jdbc] 反对读取多个表 (#5581)
  • [Connector-v2] [CDC] 对立 sqlserver TypeUtils 类型转换模式 (#5668)
  • [Connector-v2] [Http] 改良 http e2e 测试 (#5655)
  • [Connector-v2] [AmazonDynamicDB] 增加 amazondynamicdb 源拆分 (#5275)
  • [Connector-v2] [File] parquet 应用零碎时区 (#5605)
  • [Connector-v2] [Amazonsqs] 更改 amazonsqs 为 AmazonSqs 作为连接器标识符 (#5742)
  • [Connector-v2] [File] 对立文件源 / 接收器选项并更新文档 (#5680)
  • [Connector-v2] [AmazonDynamicDB] 代码清理 AmazonDynamoDB 连接器 (#5791)
  • [Connector-v2] [MongoDB] 实现 TableSourceFactory 以创立 mongodb 源
  • [Connector-v2] [Jdbc] 优化 catalog-table 元数据合并逻辑 (#5828)
  • [Connector-v2] [Jdbc] 将 getCountSql 重命名为 getExistDataSql (#5838)
  • [Connector-v2] [ClickHouse] 减速 ClickhouseFile Local 生成 mmap 对象 (#5822)
  • [Connector-v2] [Jdbc] 改良 Jdbc 连接器在数据类型不反对时的谬误音讯 (#5864)
  • [Connector-v2] [Jdbc] 缩小 getCatalogTable 在 jdbc 中的工夫耗费 (#5908)
  • [Connector-v2] [StarRocks] StarRocks 反对创立 varchar 字段类型 (#5911)
  • [Connector-v2] [StarRocks] 增加 http socket 超时 (#5918)
  • [Connector-v2] [File] 清理 JsonWriteStrategy 和 ExcelWriteStrategy 的内存缓冲 (#5925)
  • [Connector-v2] [StarRocks] StarRocks 反对创立带惟一键的表模板 (#5905)
  • [Connector-v2] [CDC] 当 exactly_once 敞开时禁用内存缓冲以进步稳定性 (#6017)
  • [Connector-v2] [Doris] 在 doris 接收器中增加批量刷新 (#6024)
  • [Connector-v2] [Paimon] 适配 Paimon 0.6 版本 (#6061)
  • [Connector-v2] [File] 使 Oss 实现源工厂和接收器工厂 (#6062)
  • [Connector-v2] [File] 禁用 HDFSFileSystem 缓存 (#6039)
  • [Connector-v2] [Jdbc] 在 jdbc 连接器中遮蔽 hikari (#6116)
  • [Connector-v2] [Jdbc] 反对 Sqlserver 小众数据类型 (#6122)
  • [Connector-v2] [Kafka] 移除 kafka 连接器的无用代码 (#6157)
  • [Connector-v2] [Doris] 改良 doris 接收器以随机应用 be (#6132)
  • [Connector-v2] [Http] 减少自定义配置超时 (#6223)
  • [Connector-v2] [Pulsar] 进步 pulsar 吞吐性能 (#6234)
  • [Connector-v2] [CDC] 反对 int identity 类型在 sql server 中 (#6186)
  • [Connector-v2] [CDC] Doris 流加载应用 FE 而不是 BE (#6235)
  • [Connector-v2] [CDC] 修改名称谬误 (#6248)
  • [Connector-v2] [Tdengine] 反对从 tdengine 读取 bool 列 (#6025)
  • [Connector-v2] [Jdbc] 应用 PreparedStatement 从列中采样数据 (#6242)

CI

  • [CI] 更新 sql-udf 文档 (#5197)
  • [CI][E2E][Zeta] 减少 Zeta 检查点超时以防止 connector-file-sftp-e2e 频繁失败 (#5339)
  • [CI] 修复 phoenix ci 谬误
  • [Build] 将 seatunnel-hadoop3-3.1.4-uber.jar 放入公布二进制包 (#5743)
  • [Test] 确保在 spark 中的值不会被重用 (#5767)
  • [Test] 挪动 MaxCompute 测试用例文件 (#5786)
  • [CI] 始终运行所有模块的单元测试 (#5800)
  • [Test] 将 System.out.println 更改为日志输入 (#5912)
  • [Test] 为命令应用增加一些测试用例
  • [Test] 修复 sql server catalog 测试用例失败 (#6128)
  • [Test] 修复 JobMetricsTest 不稳固 (#6152)
  • [Test] 修复 ConnectorSpecificationCheckTest 有效 (#5820)

E2E

  • [E2E] 移除不必要的代码以缩小磁盘压力 (#5613)
  • [E2E] 启用 Oceanbase Mysql 模式的 IT 案例 (#5697)
  • [E2E] 按需从 url 加载驱动类 (#5712)
  • [E2E] Jdbc 测试检查数据一致性 (#5734)
  • [E2E] 启用 e2e 日志输入并禁用控制台接收器日志 (#5879)
  • [E2E] 改良所有引擎的 e2e 日志 (#5936)
  • [E2E] 加强 Kudu E2E 的稳定性 (#6258)

Zeta(ST- 引擎)

  • [Zeta] 优化测试用例 CheckpointTimeOutTest.testJobLevelCheckpointTimeOut (#5403)
  • [Zeta] 改良依赖包 (#5624)
  • [Zeta] 将硬编码配置键更改为援用 (#5618)
  • [Zeta] 更改 RestJobExecutionEnvironment 实现的类名 (#5671)
  • [Zeta] 更改默认 Zeta 客户端 JVM 堆值 (#5674)
  • [Zeta] 将 generate_client_protocol.sh 挪动到引擎模块 (#5667)
  • [Zeta] 优化 SeaTunnel Zeta 引擎 Jar 包上传逻辑 (#5542)
  • [Zeta] 将 RestJobExecutionEnvironment 挪动到 rest 包 (#5764)
  • [Zeta] 从动作名称（检查点状态键）中移除 result_table_name (#5779)
  • [Zeta] 重构 jar 包服务模块 (#5763)
  • [Zeta] 将客户端 cluster-connect-timeout-millis 裸露给 yaml (#5868)
  • [Zeta] 缩小检查点实现日志 (#5916)
  • [Zeta] 移除 assert 关键字 (#5947)
  • [Zeta] 调整工厂验证实现的日志级别 (#6153)
  • [Zeta] 疏忽无用的谬误指标槽谬误 (#6135)
  • [Zeta] 增加在提交失败时复原的性能 (#6101)

Transformer-V2

  • [All] 为 SeaTunnel 转换增加 JsonPath 转换 (#5632)
  • [All] 反对 SqlTransform Not Like 表达式 (#5768)
  • [All] 增加 from_unixtime 函数 (#5462)
  • [All] 反对 case when 表达式 (#6123)

个性

外围

  • [Core] [API] 为检查点超时增加作业级配置 (#5222)
  • [Core] [API] 目录增加大小写转换定义 (#5328)
  • [Core] [API] 为测试增加 InMemoryCatalog 并增加新的 getCatalogTableFromConfig 办法 (#5485)
  • [Core] [Flink] 反对可配置精度和规模的 Decimal 类型 (#5419)
  • [Core] [API] 在 SinkAggregatedCommitter 中增加 init 和 restoreCommit 办法 (#5598)
  • [Core] [Flink] 在 Flink 中反对流量管制 (#5509)
  • [Core] [Spark] 反对 SeaTunnel 工夫类型 (#5188)
  • [Core] [Flink] 移除无用的 stageType (#5650)
  • [Core] [API] 反对多表接收器 (#5620)
  • [Core] [Spark] 在 Spark 中反对流量管制 (#5510)
  • [Core] [Flink] 增加内部配置参数 (#5480)
  • [Core] [API] 移除所有无用的 prepare、getProducedType 办法 (#5741)
  • [Core] [Common] 引入新的谬误定义规定 (#5793)
  • [Core] [Common] 移除无用的 DeserializationFormatFactory 及其实现 (#5880)
  • [Core] [API] 用 TableSchema 替换 SeaTunnelRowType 在 JdbcRowConverter 中
  • [Core] [Flink] 降级 flink 源翻译 (#5100)
  • [Core] [API] 为所有目录增加不反对的数据类型查看 (#5890)
  • [Core] [Flink] 在 flink 引擎中反对记录指标 (#6035)

连接器 -V2

  • [Connector-V2] [CDC] [SQLServer] 反对多表读取 (#4377)
  • [Connector-V2] [Jdbc] Jdbc 数据库反对标识符 (#5089)
  • [Connector-V2] [Jdbc] jdbc 连接器反对 Kingbase 数据库 (#4803)
  • [Connector-V2] [Jdbc] 增加 tidb 数据类型转换器 (#5440)
  • [Connector-V2] [Jdbc] 增加 Dameng 目录 (#5451)
  • [Connector-V2] [File] 反对在输入类型为文件 (CSV) 时写入列名 (#5459)
  • [Connector-V2] [File] 当 FILE_FORMAT_TYPE 为 text/csv 时，增加参数 BaseSinkConfig.ENABLE_HEADER_WRITE: #5566 (#5567)
  • [Connector-V2] [CDC] 反对优先应用数字字段作为宰割键 (#5384)
  • [Connector-V2] [File] 反对读取空目录 (#5591)
  • [Connector-V2] [Fake&Assert] 从 FakeSource/Assert 增加 table-names 以产生 / 断言多表 (#5604)
  • [Connector-V2] [Jdbc] 增加 OceanBase 目录 (#5439)
  • [Connector-V2] [File] 反对 LZO 压缩在文件读取上 (#5083)
  • [Connector-V2] [CDC] 反对在 flink 上运行 MongoDB CDC (#5644)
  • [Connector-V2] [Jdbc] 反对更多配置连贯参数的形式 (#5388)
  • [Connector-V2] [Kafka] KafkaSource 应用 Factory 创立源 (#5635)
  • [Connector-V2] [Jdbc] 增加连接器 amazonsqs (#5367)
  • [Connector-V2] [Jdbc] 在 MaxCompute Source 中反对目录 (#5283)
  • [Connector-V2] [Kudu] 重构 Kudu 性能并反对 CDC 数据的接收器 (#5437)
  • [Connector-V2] [CDC] 优化 mysql server-id 的默认值范畴以缩小抵触 (#5550)
  • [Connector-V2] [Http] HTTP 反对页面减少 #5477 (#5561)
  • [Connector-V2] [Jdbc] 增加 Save Mode 性能和 Connector-JDBC (MySQL) 连接器已实现 (#5663)
  • [Connector-V2] [Jdbc] 反对 XMLTYPE 数据集成 #5716 (#5723)
  • [Connector-V2] [Jdbc] 反对 Hive JDBC Source 连接器 (#5424)
  • [Connector-V2] [Http] Http 参数反对自定义加密 (#5727)
  • [Connector-V2] [Kudu] 在 kudu 上反对 TableSourceFactory/TableSinkFactory (#5789)
  • [Connector-V2] [File] LocalFileSource 反对多表
  • [Connector-V2] [Fake] FakeSource 反对为 MultipleTable 生成不同的 CatalogTable (#5766)
  • [Connector-V2] [Kudu] 反对 kudu 多表源读取 (#5878)
  • [Connector-V2] [Http] 在 http 上反对 TableSourceFactory/TableSinkFactory (#5816)
  • [Connector-V2] [Redis] 在 redis 上反对 TableSourceFactory/TableSinkFactory (#5901)
  • [Connector-V2] [Jdbc] 修复 split 键不反对 BigInteger 类型
  • [Connector-V2] [File] LocalFile 接收器反对多表 (#5931)
  • [Connector-V2] [Doris] Doris 目录 (#5175)
  • [Connector-V2] [Kudu] 反对 kudu 多表接收器个性 (#5951)
  • [Connector-V2] [File] 反对应用多个 hadoop 账户 (#5903)
  • [Connector-V2] [File] 将多表文件 API 放到文件根底模块 (#6033)
  • [Connector-V2] [Paimon] Flink 表存储在筹备提交时失败 (#6057)
  • [Connector-V2] [File] 增加多表文件接收器到根底模块 (#6049)
  • [Connector-V2] [Jdbc] jdbc 源反对将字符串类型作为分区键 (#6079)
  • [Connector-V2] [File] 反对读取 .xls excel 文件 (#6066)
  • [Connector-V2] [CDC] 反对读取没有主键的表 (#6098)
  • [Connector-V2] [Assert] 反对查看 Decimal 类型的精度和规模 (#6110)
  • [Connector-V2] [Hbase] 反对数组数据 (#6100)
  • [Connector-V2] [File] FTP 源 / 接收器增加 ftp 连贯模式 (#6077) (#6099)
  • [Connector-V2] [Jdbc] 更新 sqlserver 目录以反对保留模式 (#6086)
  • [Connector-V2] [CDC] 反对自定义表主键 (#6106)
  • [Connector-V2] [Doris] 在 Doris 上反对 SaveMode (#6085)
  • [Connector-V2] [Jdbc] 更新 oracle 目录以反对保留模式 (#6092)
  • [Connector-V2] [ElasticSearch] 增加 elasticsearch save_mode (#6046) (#6092)
  • [Connector-V2] [Jdbc] 改良查问列 sql 的兼容性 (#5664)
  • [Connector-V2] [Jdbc] 改良查问列 sql 的兼容性 (#5664)
  • [Connector-V2] [Pulsar] 增加 Pulsar 接收器连接器 (#4382)
  • [Connector-V2] [StarRocks] 增加 starrocks save_mode (#6029)
  • [Connector-V2] [CDC] 反对 oracle cdc (#5196)
  • [Connector-V2] [Doris] 增加 Doris ConnectorV2 源 (#6161)
  • [Connector-V2] [Jdbc] 反对 postgres jdbc 中的 uuid (#6185)
  • [Connector-V2] [CDC] 反对读取没有主键的表 (#6209)
  • [Connector-V2] [CDC] 修复 jdbc setFetchSize 谬误 (#6210)
  • [Connector-V2] [CDC] 修复从单表切换到多表时状态复原谬误 (#6211)
  • [Connector-V2] [CDC] 清理未应用的代码 (#6212)
  • [Connector-V2] [File] 增加 s3file save mode 性能 (#6131)
  • [Connector-V2] [CDC] 反对自定义表主键 (#6216)
  • [Connector-V2] [CDC] 为拆分反对增加日期类型和浮点类型列 (#6160)
  • [Connector-V2] [CDC] 反对 Postgres cdc (#5986)
  • [Connector-V2] [CDC] 更新 jdbc fetchsize (#6245)
  • [Connector-V2] [CDC] 默认禁用 exactly_once 以进步稳定性 (#6244)
  • [Connector-V2] [CDC] 反对在拆分器中的 Short 和 Byte 类型 (#6027)
  • [Connector-V2] [Jdbc] 改良查问表的大抵总行数的 SQL 兼容性 (#5972)

Zeta(ST- 引擎)

  • [Zeta] 增加 UNKNOWABLE 作业状态 (#5303)
  • [Zeta] 在 zeta 中反对流量管制 (#5502)
  • [Zeta] [REST-API] 进行运行中的作业 (#5512)
  • [Zeta] 在 Kubernetes 上反对 Zeta 引擎 (#5594)
  • [Zeta] 在批处理模式中，能够禁用检查点 (#5914)
  • [Zeta] 将跳过触发检查点的日志级别更改为调试 (#5954)
  • [Zeta] 增加新作业状态 DOING_SAVEPOINT 和 SAVEPOINT_DONE (#5917)
  • [Zeta] 增加 waitForJobCompleteV2 api (#5965)
  • [Zeta] 能够应用 rest api 主动向 Zeta 主节点提交作业 (#5950)
  • [Zeta] [REST-API] 获取已实现作业的信息 (#5949)
  • [Zeta] 修复转换动作返回雷同名称 (#6034)
  • [Zeta] 对立作业环境参数 (#6003)
  • [Zeta] 将 TaskGroupLocation 增加到 TaskExecutionService 的线程名称中 (#6095)
  • [Zeta] 在 zeta 中应用 G1 作为默认垃圾收集器 (#6114)
  • [Zeta] 修复带有无检查点文件的保留点启动时的谬误 (#6215)
  • [Zeta] 反对在泛型类型中用 hocon 格调申明行类型 (#6187)

CI

  • [Bin] 为所有脚本增加 .bat 脚本 (#5445)
  • [INFRA] 将 CI 移至在 fork 仓库容器上运行 (#5495)
  • [Build] 移除 connector/seatunnel 目录 (#5489)
  • [INFRA] 更新 PR 模板以增加测试和用户更改问题 (#5486)
  • [INFRA] 为 notify_test_workflow.yml 增加日志以追踪谬误起因
  • [INFRA] 修复 notify_test_workflow.yml 不稳固
  • [Test] 测试实现后在 jdbc 套件上移除 docker 镜像 (#5568)
  • [Test] 为 ResourceManager 增加测试以确保工作将在不同节点上部署 (#5518)
  • [Chore] 移除无用的 .scalafmt.conf 文件 (#5616)
  • [LICENSE] 增加 hadoop 许可 (#6067)
  • [Build] 将 seatunnel-spark-3-starter.jar 放入公布包 (#6044)
  • [Test] 缩小反复目录测试次数 (#6207)
  • [CI] 确保 notify_test_workflow.yml 谬误将被抛出 (#6226)

格局

  • [Ogg] 反对读取 ogg 格局音讯 #4201 (#4225)
  • [Json] 移除 assert 关键字 (#5919)
  • [Avro] 反对 avro 格局 (#5084)
  • [Formats] 重构 ignoreParseErrors 的异样捕捉 (#6065)
  • [Avro] 改良 avro 格局转换 (#6082)

转换器 -V2

  • [All] 增加 JsonPath 转换 (#5632)
  • [All] 反对 SqlTransform Not Like 表达式 (#5768)
  • [All] 增加 from_unixtime 函数 (#5462)
  • [All] 反对 case when 表达式 (#6123)

文档优化详情

  • [Docs] 应用对立格局 Feishu 重构 connector-v2 文档 (#5343)
  • [Docs] 重构 IoTDB 接收器文档 (#5306)
  • [Docs] 更正单词谬误 (#5360)
  • [Docs] 改良 iceberg 文档 (#5335)
  • [Docs] 应用短链接 https://s.apache.org/seatunnel-slack 替换长 URL (#5363)
  • [Docs] 改良 http 文档参数体形容 (#5368)
  • [Docs] 应用对立格局 Slack 重构 connector-v2 文档 (#5344)
  • [Docs] 更新 sql-udf 文档 (#5197)
  • [Docs] 重构 MySQL-CDC 文档 (#5302)
  • [Docs] 在 FtpFile 的选项形容中将 username 由 user 替换 (#5421)
  • [Docs] 更新 iotdb 文档 (#5404)
  • [Docs] 增加 mysql Connector 文档版本题目示例 pr (#5249)
  • [Docs] 增加并行度 (#5310)
  • [Docs] Http 源选项键 poll_interval_ms 在源代码中不同 (#5430)
  • [Docs] 改良 kafka 接收器文档中的谬误示例 (#5527)
  • [Docs] 改良控制台接收器文档 (#5230)
  • [Docs] 增加如何更改 e2e 测试的日志配置 (#5589)
  • [Docs] 增加 RocketMq 连接器 (#5361)
  • [Docs] 在 README.md 中修复构建状态未更新 (#5574)
  • [Docs] hdfsFile 的 file_format 更改为 file_format_type (#5653)
  • [Docs] 改良 README.md (#5662)
  • [Docs] 增加 FakeSource 连接器文档 (#5255)
  • [Docs] 在 README.md 中介绍 SeaTunnel web 我的项目 (#5634)
  • [Docs] 向 README 增加目录和常见问题解答 (#5693)
  • [Docs] 更新 quick-start-spark.md (#5795)
  • [Docs] 增加 Socket 连接器文档 #5255 (#5287)
  • [Docs] 改良文件接收器文档 (#5799)
  • [Docs] 增加 SqlServer 连接器文档 (#5498)
  • [Docs] 更新 (#5808)
  • [Docs] 增加 hive jdbc 参考值 (#5882)
  • [Docs] 修改 Checkpoint-Storage 形容不正确 (#5883)
  • [Docs] 重构 OssFile 连接器文档 (#5233)
  • [Docs] 修复 oss 连接器无奈运行的 bug (#6010)
  • [Docs] 为 jdbc-connector 更新文档 (#5765)
  • [Docs] 增加 V2 连接器 jdbc 文档参数能够减速数据导入 PR (#6176)
  • [Docs] 批改一些文档题目标准 (#6237)
  • [Docs] 重构 Socket Source 和 SftpFile 连接器文档 (#5386)
  • [Docs] 改良驱动搁置门路的文档
  • [Docs] 更正数组元素类型和映射键类型的介绍 (#6261)

致谢名单

感激所有为 2.3.4 版本做出奉献的社区成员，包含代码贡献者、文档撰写者和测试人员。Apache SeaTunnel 的胜利离不开每一个人的致力！

用户名 1 用户名 2 用户名 3
Carl-Zhou-CN halo.kim Nick Young
Adarsh Jha Hao Xu Pritham Sriram Govindaraj
Alex Ting haolinkong pstrasser
Anirudh Hegde happyboy1024 seckiller
asia-zengtao He Wang sunjane
bingquanzhao Huan Liang Tung Bui (Leo)
Carl-Zhou-CN ic4y Tyrantlucifer
chaos Jarvis Volodymyr
chen0623-bak Jia Fan wachoo
Chengyu Yan john wei zhao
chenyunde kk Wenjun Ruan
David Zollo Kunni wow_zx
Dennis lightzhao xiami
dependabot[bot] lizhenglei xiaofan2012
dian luo XiaoJiang521
Eric michalrys Yan Xiaole
fang mingbei.xu zhengyuan
FlechazoW Morssssy ZhilinLi
FuYouJ MoSence 丑西蒙
gitfortian muzhongjiang 老王
gnehil Nick 王渔
Guangdong Liu hailin0

本文由 白鲸开源科技 提供公布反对！

退出移动版