关于redis:2分钟内完成2000万key数据的迁移

43次阅读

共计 1796 个字符,预计需要花费 5 分钟才能阅读完成。

Redis 是目前最风行的键值对存储数据库,凭借高性能和丰盛的数据类型的个性,不仅能够作为缓存,还能够作为一个可长久化的数据库存储。随着业务的倒退和版本的迭代,必然会遇到内存不足、集群节点不够和 BUG 等一系列问题。为了避免这些问题导致的系统故障,经常会把对内存、集群节点扩缩容和版本升级等操作作为工作考核的重要一项。这些操作都波及了数据的迁徙,所以,提供高效、平安的不停机数据迁徙计划是十分有必要的。

当初,NineData 在反对业务不中断的前提下,实现了配置简略、稳固、高效、平安的数据迁徙服务,很好地满足版本升级、扩容、缩容等场景下对数据迁徙和同步的需要。经实测,NineData 可在 2 分钟内实现 2000 万个 key(5GB)数据的迁徙,均匀 迁徙速度为 164398 个 key/ 秒,性能是开源工具的 2 倍多。

1、传统的迁徙计划

目前,数据迁徙次要的形式有:应用 RDB 迁徙,或一些开源工具进行数据迁徙。对于这些形式的迁徙,会存在一些问题:

  • 须要停机,对于拷贝 RDB 文件形式的迁徙,不能保障在线业务,并且也不能兼容大版本升级。
  • 准确性难保障,不反对数据检测能力,迁徙后的数据品质难以保障。
  • 可靠性差,对于开源工具,迁徙异样后,过程间接退出。
  • 运维性差,不能进行暂停、限流、告警等操作。

2、高性能的迁徙计划

NineData 提供的数据复制同时蕴含了数据迁徙和数据同步的能力,在不影响业务的前提下,提供了高效、稳固、平安的迁徙能力。相较于传统迁徙比,NineData 的 Redis 数据迁徙能力有如下劣势:

▶︎ 简略易用

一分钟即可实现工作配置,并全自动化实现工作迁徙。

▶︎ 强劲性能

通过动静攒批、队列优化、流式内存治理等核心技术,迁徙性能达到 16 万 key/ 秒,性能是开源迁徙工具的 2 倍,无效保障迁徙效率。

▶︎ 高牢靠

联合新型断点、异样诊断及丰盛的修复伎俩,对于迁徙过程中可能呈现软硬件故障,提供欠缺的容灾能力,大大提高了迁徙的成功率。

通过上述劣势,保障了 NineData 在 Redis 迁徙场景下的当先性。另外,NineData 还提供了比照性能,蕴含全量、疾速和不统一复检的比照形式,并且也反对不同的比照频率。 在迁徙或复制完结后,通过比照,无效地保障数据的品质。

3、操作应用

NineData 在提供弱小迁徙能力的同时,也保障了应用的简略性,只需 1 分钟就能实现迁徙工作的配置,实现齐全自动化的数据迁徙过程。上面咱们来看下整个工作的配置过程:

3.1 迁徙链路的配置

迁徙链路的配置

  1. 配置工作名称,抉择要迁徙的源和指标实例。
  2. 抉择复制类型,数据迁徙抉择构造和全量复制(数据迁徙)。
  3. 依据须要,抉择适合的抵触解决策略。

3.2 抉择迁徙对象

抉择迁徙对象

抉择迁徙对象:可抉择不同 DB 进行迁徙。

3.3 配置映射对象

配置映射对象

配置映射:能够把源实例的多个数据库(0~15)映射到指标实例的指定 1 个或多个数据库,通过该映射能力能够实现相似于 MySQL 多源复制的场景。

3.4 预查看

预查看

通过欠缺的查看项,保障了迁徙工作的稳定性。到此,咱们就实现了一个高效、平安的 Redis 迁徙工作的配置,当实现配置并启动工作后,NineData 会主动启动全量复制及增量复制过程,实现全自动化的数据迁徙。

同时,为了提供更好的迁徙体验,NineData 针对迁徙过程提供了欠缺的观测、干涉能力。 其岂但提供对象迁徙的具体状态、停顿、详情,还通过监控和日志走漏后盾线程的外部执行状况,帮忙用户全方位追踪迁徙停顿。同时,还针对运行过程中可能呈现的异常情况,提供根底诊断和迁徙限流能力,让用户可能自主疾速地诊断并修复链路,保障迁徙稳定性。迁徙期间的信息:

NineData 针对迁徙过程提供了欠缺的观测能力

NineData 提供欠缺的可干涉能力

NineData 提供根底诊断和迁徙限流能力

4、总结

NineData 基于全量复制、增量日志复制技术,提供了高效、安全可靠的 Redis 不停机迁徙计划。当然,除了 Redis,NineData 曾经反对数十种常见数据库的迁徙复制,实现数据库迁徙、数据容灾、数据双活、数据仓库实时集成等业务场景。同时, 除了 SAAS 模式外,还提供了企业专属集群模式,满足企业最高的数据安全合规要求。 目前,NineData 已在运营商、金融、制造业、地产、电商等多个行业实现大规模利用实际。如果您感兴趣的话,能够登录官网:数据迁徙 - 迁徙工具 - 数据传输 -NineData- 玖章算术,立刻开始应用。

正文完
 0