关于mysql:1小时迁移500GB-的MySQL数据

4次阅读

共计 1685 个字符,预计需要花费 5 分钟才能阅读完成。

在上篇「快、准、稳的实现亿级别 MySQL 大表迁徙」的文章中,介绍了 NineData 在单张大表场景下的迁徙性能和劣势。但在大部分场景中,可能遇到的是多张表形成的大数据量场景下的数据搬迁问题。因为搬迁数据量较大,迁徙的时长、稳定性及准确性都受到极大的挑战,常见的迁徙工具通常不能很好得反对。为此,NineData 针对这种场景专门进行针对性的优化,以提供高效、精确、稳固的大数据量迁徙能力。

1、传统的迁徙计划

目前,数据迁徙次要分为逻辑迁徙和物理迁徙,逻辑迁徙次要有 mysqldump、mydumper,物理迁徙次要有 XtraBackup。对于这类导入导出和拷贝文件的传统迁徙计划,在迁徙中会存在一些问题:

  • 要求业务停机,在迁徙过程中,通过须要进行服务,放弃动态迁徙数据,因为迁徙数据量大,须要的迁徙工夫较长,这也意味着业务停机工夫较长。
  • 迁徙工夫久,对于 mysqldump 的逻辑迁徙,单线程导出表,迁徙工夫长。
  • 可靠性差,导出异样后,不反对断点能力,在迁徙过程中,如果遇到数据库、软件或硬件任何问题导致的工作中断,都须要从头迁徙,迁徙难度高。
  • 保障能力弱,迁徙期间,不能提供欠缺的观测跟干涉能力;同时,比拟不足构造及数据比照能力,不足品质保障体系,可能影响迁徙胜利性。

2、高性能的迁徙计划

NineData 提供的数据复制同时蕴含了数据迁徙和数据同步的能力,在不影响业务的前提下,提供了高效、稳固、可运维的大数据量迁徙能力。经实测,在源及指标实例同城状况下,500GB 的 mysql 数据的迁徙,只需 1 个小时,均匀迁徙速度 142MB/s。

通过对 MySQL 大数据量迁徙的性能测试,和传统迁徙比,NineData 数据迁徙的劣势有:

  1. 简略易用: 一分钟即可实现工作配置,并全自动化实现工作迁徙。
  2. 强劲性能: 欠缺的智能分片、表级行级并发、动静攒批等核心技术,无效保障迁徙性能。
  3. 高牢靠: 联合新型断点、异样诊断及丰盛的修复伎俩,对于迁徙过程中可能呈现软硬件故障,提供欠缺的容灾能力,大大提高了大数据量迁徙的成功率。
  4. 数据品质保障: NineData 还提供了比照性能,蕴含数据和构造的比照,以及全量、疾速(抽样)和不统一复检的比照形式,并且也反对不同的比照频率。在迁徙或复制完结后,通过数据和构造比照,能无效的保障数据的一致性。

NineData 在提供弱小迁徙能力的同时,也保障了应用的简略性,只须要 1 分钟就能实现迁徙工作的配置,实现齐全自动化的数据迁徙过程。上面咱们来看下整个工作的配置过程:

2.1 配置迁徙链路

  1. 配置工作名称,抉择要迁徙的源和指标实例。
  2. 抉择复制类型,数据迁徙抉择构造和全量复制(数据迁徙)。
  3. 依据须要,抉择适合的抵触解决策略。

2.2 抉择迁徙对象

抉择迁徙对象:针对不同粒度抉择迁徙对象,也能够抉择局部迁徙对象。

2.3 配置映射对象

配置映射和过滤规定:可自定义迁徙的库名、表名和依照不同的过滤条件进行多表的局部数据迁徙,也能够针对表的列名进行映射和局部列迁徙。

2.4 预查看 & 启动

通过丰盛的查看项,保障了迁徙工作的稳定性;通过开启数据比照,保障了迁徙后数据的一致性。到此,咱们就实现了一个高性能迁徙工作的配置。

同时,为了提供更好的迁徙体验,NineData 针对迁徙过程提供了欠缺的观测、干涉能力。其岂但提供对象迁徙的具体状态、停顿、详情,还通过监控和日志走漏后盾线程的外部执行状况,帮忙用户全方位追踪迁徙停顿。同时,还针对运行过程中可能呈现的异常情况,提供根底诊断能力,及修复、跳过、移除等多种修复策略和迁徙限流能力,让用户可能自主疾速得诊断并修复链路,保障迁徙稳定性。

3、总结

NineData 提供的高效、疾速、稳固的 MySQL 大数据量迁徙能力,很好的补充了传统迁徙计划的有余。以后,NineData 曾经反对数十种常见数据库的迁徙复制,同时,除了 SAAS 模式外,还提供了企业专属集群模式,满足企业最高的数据安全合规要求。目前,NineData 已在运营商、金融、制造业、地产、电商等多个行业实现大规模利用实际。如果您感兴趣的话,能够登录官网:数据迁徙 - 迁徙工具 - 数据传输 -NineData- 玖章算术,立刻开始应用。

正文完
 0