乐趣区

关于tdengine:TDengine-taosdump-的使用方法和注意事项

小 T 导读:为了让大家更好地进行 TDengine 集群间的备份和迁徙工作,一款名为 taosdump 的工具应用程序被打造进去。在本篇文章中,咱们对 taosdump 的应用办法和注意事项进行了相干汇总,给到有须要的开发者。

作为 TDengine 的一款工具应用程序,taosdump 反对从运行中的 TDengine 集群备份数据,并将备份的数据恢复到雷同或另一个运行中的 TDengine 集群中,其应用 Apache AVRO(https://avro.apache.org/)作为数据文件格式来存储备份数据。

值得一提的是,taosdump 能够用 Database、超级表或一般表作为逻辑数据单元进行备份,也能够对 Database、超级表和一般表中指定时间段内的数据记录进行备份。在应用时,咱们能够对 taosdump 指定数据备份的目录门路;如果不指定地位,它就会默认将数据备份到当前目录;如果指定的地位曾经有数据文件,taosdump 会提醒用户并立刻退出,防止数据被笼罩。这意味着同一门路只能被用于一次备份。如果大家看到相干提醒,务必小心操作。

但须要留神的是,taosdump 是一个逻辑备份工具,它不应被用于备份任何原始数据、环境设置、硬件信息、服务端配置或集群的拓扑构造。

装置

taosdump 有以下两种装置形式:

  • 装置 taosTools 官网安装包,你能够进入 https://www.taosdata.com/all-… 此页面找到 taosTools 并进行下载安装。
  • 独自编译 taosTools 并装置,详情请参考 taos-tools 仓库(https://github.com/taosdata/t…)。

罕用应用场景

taosdump 备份数据

  1. 备份所有数据库:指定 -A 或 –all-databases 参数;
  2. 备份多个指定数据库:应用 -D db1,db2,… 参数;
  3. 备份指定数据库中的某些超级表或一般表:应用 dbname stbname1 stbname2 tbname1 tbname2 … 参数,留神这种输出序列第一个参数为数据库名称,且只反对一个数据库,第二个和之后的参数为该数据库中的超级表或一般表名称,两头以空格分隔;
  4. 备份零碎 log 库:TDengine 集群通常会蕴含一个零碎数据库,名为 log,这个数据库内的数据为 TDengine 自我运行的数据,taosdump 默认不会对 log 库进行备份。如果有特定需要对 log 库进行备份,能够应用 -a 或 –allow-sys 命令行参数。
  5. “宽容”模式备份:taosdump 1.4.1 之后的版本提供 -n 参数和 -L 参数,用于备份数据时不应用转义字符和“宽容”模式,能够在表名、列名、标签名没应用转义字符的状况下缩小备份数据工夫和备份数据占用空间。如果不确定是否合乎应用 -n 和 -L 条件时,请应用默认参数进行“严格”模式进行备份。转义字符的阐明请参考官网文档(https://docs.taosdata.com/tao…)。

须要留神

  • taosdump 1.4.1 之后的版本提供 -I 参数,用于解析 avro 文件 schema 和数据,如果指定 -s 参数将只解析 schema。
  • taosdump 1.4.2 之后的备份应用 -B 参数指定的批次数,默认值为 16384,如果在某些环境下因为网络速度或磁盘性能有余导致“Error actual dump .. batch ..”,能够通过 -B 参数调整为更小的值进行尝试。
  • taosdump 的导出不反对中断复原,所以当过程意外终止后,正确的解决形式是删除以后已导出或生成的所有相干文件。
  • taosdump 的导入反对中断复原,然而当过程重新启动时,会收到一些“表曾经存在”的提醒,能够漠视。

taosdump 复原数据

如果咱们想要复原指定门路下的数据文件,形式是:应用 -i 参数加上数据文件所在门路。如前文提及,咱们不能应用同一个目录备份不同数据汇合,也不能在同一门路屡次备份同一数据集,否则备份数据会造成笼罩或屡次备份。

须要留神

taosdump 外部应用 TDengine stmt binding API 进行复原数据的写入,为进步数据恢复性能,目前应用 16384 为一次写入批次。如果备份数据中有较多列的数据,可能会导致产生“WAL size exceeds limit”谬误,此时能够通过应用 -B 参数调整为一个更小的值进行尝试。

写在最初

如果大家想要查阅 taosdump 具体命令行参数列表,能够进入 https://docs.taosdata.com/ref… 获取。毫无疑问,如果你把握了上述 taosdump 使用指南,肯定能帮忙你较为完满地解决所遭逢的数据迁徙问题。但如果在利用过程中呈现了一些个性化难题,也无需心急,你能够进入 TDengine 用户交换群寻找帮忙。

欢送增加小 T(VX:TDengine),退出物联网技术探讨群,第一工夫理解 TDengine 官网信息,与关注前沿技术的同学们独特探讨新技术、新玩法。


想理解更多 TDengine Database 的具体细节,欢送大家在 GitHub 上查看相干源代码。

退出移动版