关于tdengine:TDengine-可通过数据同步工具-DataX-读写

7次阅读

共计 982 个字符,预计需要花费 3 分钟才能阅读完成。

小 T 导读:DataX 是由阿里云开源的离线数据同步工具 / 平台,目前曾经反对多种支流异构数据源在内的高效的数据相互同步性能。咱们的研发团队实现了 TDengine 的适配,相干代码已被 DataX 官网承受并合并到骨干中。

DataX 是由阿里云开源的离线数据同步工具 / 平台,目前曾经实现了包含 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、HDFS、Hive、HBase 等多种异构数据源在内的高效的数据相互同步性能。

DataX 的设计思路是:

DataX 自身作为数据同步框架,将不同数据源的同步形象为从数据源读取数据的 Reader 插件,以及向指标端写入数据的 Writer 插件,实践上 DataX 框架能够反对任意数据源类型的数据同步工作。同时 DataX 插件体系作为一套生态系统,每接入一套新数据源,就能够实现该数据源和现有数据源的互通。

基于该设计思路,咱们的研发团队实现了 TDengine 的适配,实现了 TDengineReader 和 TDengineWriter 两个插件,并被 DataX 官网承受,合并到了其骨干中。

TDengineReader 提供的性能包含:

  1. 反对通过 SQL 进行数据筛选;
  2. 依据工夫距离进行工作切分;
  3. 反对 TDengine 的全副数据类型;
  4. 反对批量读取,能够通过 batchSize 参数管制批量拉取后果集的大小,从而进步读取性能。

TDengineWriter 反对的性能包含:

  1. 反对 OpenTSDB 的 json 格局的行协定,能够应用 TDengine 的 Schemaless 形式写入 TDengine。
  2. 反对批量写入,能够通过 batchSize 参数管制批量写入的数量,从而进步写入性能。

目前 TDengine 曾经退出 DataX 正式反对的数据库列表中。

当初,如果用户要将历史 Database(比方 MySQL、OpenTSDB 等)中的数据迁徙到 TDengine,或者将 TDengine 中的数据导出,就能够利用 DataX 来实现了。

更多应用细节,能够参考“基于 DataX 的 TDengine 数据迁徙工具”一文。

基于 DataX 的 TDengineWriter 和 TDengineReader 的实现和最新动静,请关注:https://github.com/taosdata/D…


想理解更多 TDengine Database 的具体细节,欢送大家在 GitHub 上查看相干源代码。

正文完
 0