关于数据库:JDBC-Vertica-Source-Connector-使用文档

反对以下引擎

• Spark
• Flink

• SeaTunnel Zeta

  要害个性

• 批处理
• 准确一次性解决
• 列投影
• 并行处理
• 反对用户自定义拆分

• 反对查问 SQL 并实现投影成果

  形容

通过 JDBC 读取内部数据源数据。

反对的数据源信息

数据库依赖

请下载与 ‘Maven’ 对应的反对列表，并将其复制到 ‘$SEATNUNNEL_HOME/plugins/jdbc/lib/’ 工作目录中 <br/>
例如，Vertica 数据源：cp vertica-jdbc-xxx.jar $SEATNUNNEL_HOME/plugins/jdbc/lib/

数据类型映射

源选项

• 提醒

如果未设置 partition_column，则会在繁多并发中运行；如果设置了 partition_column，则将依据工作的并发性进行并行执行。

工作示例

简略示例：

此示例在繁多并行中查问您的测试“数据库”中的 type_bin 'table' 16 个数据，并查问其所有字段。您还能够指定要查问的字段，以便将最终输入显示在管制台上。

env {

您能够在此处设置 Flink 配置
execution.parallelism = 2
job.mode = "BATCH"
}
source{
Jdbc {
url = "jdbc:vertica://localhost:5433/vertica"
driver = "com.vertica.jdbc.Driver"
connection_check_timeout_sec = 100
user = "root"
password = "123456"
query = "select * from type_bin limit 16"
}
}

transform {
# 如果您想获取无关如何配置 seatunnel 的更多信息，并查看残缺的转换插件列表，# 请拜访 https://seatunnel.apache.org/docs/transform-v2/sql
}

sink {Console {}
}

并行示例：

并行读取您的查问表，应用您配置的 shard 字段和 shard 数据。如果要读取整个表，能够这样做。

source {
Jdbc {
url = "jdbc:vertica://localhost:5433/vertica"
driver = "com.vertica.jdbc.Driver"
connection_check_timeout_sec = 100
user = "root"
password = "123456"
# 依据须要定义查问逻辑
query = "select * from type_bin"
# 并行分片读取字段
partition_column = "id"
# 片段数量
partition_num = 10
}
}

并行边界示例：

 依据查问的下限和上限指定数据更加高效，依据您配置的下限和上限来读取数据源更加高效
source {
Jdbc {
url = "jdbc:vertica://localhost:5433/vertica"
driver = "com.vertica.jdbc.Driver"
connection_check_timeout_sec = 100
user = "root"
password = "123456"
# 依据须要定义查问逻辑
query = "select * from type_bin"
partition_column = "id"
# 读取起始边界
partition_lower_bound = 1
# 读取完结边界
partition_upper_bound = 500
partition_num = 10
}
}

本文由 白鲸开源科技 提供公布反对！