巨杉数据库Sequoiadbsdbexprt工具导出数据性能如何

10次阅读

共计 346 个字符,预计需要花费 1 分钟才能阅读完成。

【问题描述】
sdbexprt 工具导出数据性能如何,能否提供性能测试报告?
广东省农信运维人员比较关心以下情况:
如:导出的集合是多维分区表,范围切分以时间作为切分字段,一年一个子表,hash 切分则以 ”_id” 切分,该集合中有 3 年 1000w 条记录,每条记录约 100kb,现需要将 1000W 的数据从集合中导出,需要多长的时间?

【问题回复】

  1. 导出工具只能从一个 coord 节点上导出数据。理论上,当这个 coord 节点所在的机器的带宽被打满(如千兆网为 128M/s)时,性能就到达最高点。
  2. 实际上,决定导出工具性能的关键点在于数据存放在集群的多少个分区上。如果说数据存放在 10 个分区上,那么同一时间,就有 10 个节点在给
    coord 节点传输数据,这样 coord 节点所在机器的带宽将极大地被利用。这样导出速度也更快。
正文完
 0

巨杉数据库Sequoiadbsdbexprt工具导出数据性能如何

10次阅读

共计 346 个字符,预计需要花费 1 分钟才能阅读完成。

【问题描述】
sdbexprt 工具导出数据性能如何,能否提供性能测试报告?
广东省农信运维人员比较关心以下情况:
如:导出的集合是多维分区表,范围切分以时间作为切分字段,一年一个子表,hash 切分则以 ”_id” 切分,该集合中有 3 年 1000w 条记录,每条记录约 100kb,现需要将 1000W 的数据从集合中导出,需要多长的时间?

【问题回复】

  1. 导出工具只能从一个 coord 节点上导出数据。理论上,当这个 coord 节点所在的机器的带宽被打满(如千兆网为 128M/s)时,性能就到达最高点。
  2. 实际上,决定导出工具性能的关键点在于数据存放在集群的多少个分区上。如果说数据存放在 10 个分区上,那么同一时间,就有 10 个节点在给
    coord 节点传输数据,这样 coord 节点所在机器的带宽将极大地被利用。这样导出速度也更快。
正文完
 0