巨杉数据库Sequoiadbsdbimprt工具数据导入性能如何

31次阅读

共计 353 个字符,预计需要花费 1 分钟才能阅读完成。

【问题描述】
sdbimprt 工具数据导入性能如何,能否提供性能测试报告?
广东省农信运维人员比较关心以下情况:
如:3 年的数据有 1000w 条记录,每条记录约 100kb,导入的集合是多维分区表,范围切分以时间作为切分字段,一年一个集合,hash 切分则以 ”_id” 切分,将 1000W 的数据导入到该集合中需要多长的时间?

【问题回复】

  1. 导入工具在多个局点都有使用,目前(v3.0.1)还没有人反映过性能存在问题。
  2. 导入工具支持多线程导入。同时,也可以同时在多个机器上同时使用导入工具一起工作。基本上,导入工具很容易就能将千兆网卡(128M/s)打满。
  3. 该用户关心的场景我们无法准确估计导入需要多长时间。如果能把千兆网网卡打满,估计时间为 1000w*100KB/128M=781.25s。实际情况需要根据用户的设备等情况决定。
正文完
 0