关于华为云:华为云PB级数据库GaussDBfor-Redis揭秘第十期GaussDBfor-Redis迁移系列上

摘要：本期将具体介绍社区版Redis、kvrocks和Pika到GaussDB(for Redis)的迁徙

本文分享自华为云社区《华为云PB级数据库GaussDB(for Redis)揭秘第十期：GaussDB(forRedis)迁徙系列（上）》，原文作者：高斯Redis官网博客 。

GaussDB(for Redis)是一款基于计算存储拆散架构，兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多正本强统一机制，反对长久化存储。在保障数据库的高兼容、搞性价比、高牢靠、无损扩容等特点的同时，GaussDB(for Redis)团队针对不同的数据库产品，为用户提供了多种数据迁徙计划，本期将具体介绍社区版Redis、kvrocks和Pika到GaussDB(for Redis)的迁徙。

1、Redis到GaussDB (for Redis)的迁徙

社区版Redis作为十分受欢迎的内存数据库，因具备性能高，数据结构丰盛等长处，失去宽泛应用。GaussDB(forRedis)是兼容Redis生态的长久化数据库，不仅提供优良的读写性能，还提供数据长久化能力，依靠超前的零碎架构，以极低的老本保障了数据三正本强统一个性，能够防止社区版Redis须要fork、老本低等问题。

1.1 迁徙原理

应用华为云自研的迁徙工具drs-redis进行源端Redis到指标端GaussDB(for Redis)的迁徙。迁徙过程中，drs-redis伪装成源端Redis的从节点运行，与源端Redis建设连贯后，触发Redis的主从同步。源端Redis生成RDB文件，传输给drs-redis实现全量同步。而后发送缓冲区保留的所有写命令到drs-redis实现增量同步。 drs-redis迁徙工具接管并解析源端Redis的RDB文件，将解析后的数据通过redis命令的形式发送到GaussDB(for Redis)，而后以命令流传的形式将增量数据也发送到GaussDB(forRedis)，实现迁徙。

1.2 前提条件

• 部署迁徙工具drs-redis。
• 保障迁徙工具drs-redis、源端Redis和指标端GaussDB(for Redis)网络互通。

1.3 操作步骤

1. 正确批改drs相干配置文件。
2. 清理迁徙程序中可能的遗留数据。
3. 启动drs，跟踪日志，确保迁徙正确进行。

1.4 应用须知

• drs-redis伪装成源端Redis的从节点，只读取源端的全量数据和增量命令，无数据受损危险。
• 源端减少对drs-redis写数据的流程，因而性能会有轻微影响。
• GaussDB(for Redis)反对多个数据库，若源端是单节点Redis，须要保留多个数据库时，能够在GaussDB(for Redis)侧开启namespace性能，防止将多个数据库的数据迁徙到同一空间，造成数据失落。
• 如果之前源端不存在从节点，源端会新增replication-buffer来缓存增量命令。

问题：redis主从同步的replication-buffer是ring buffer，若写入buffer太快，会笼罩掉未发送给drs-redis的数据，源端Redis为了数据一致性会被动断开连接，造成迁徙失败。

倡议：迁徙过程中，升高源端Redis写入数据的速率，在低压时间段进行迁徙。配置redis的client-output-buffer-limit参数，适量增大replication-buffer的大小。

1.5 迁徙性能参考

环境：源端单节点Redis和迁徙工具drs-redis部署在华为云8U32GB的弹性云服务器上，指标端为4U16GB，3节点GaussDB(for Redis)实例。

场景一：

− 源端replication buffer采纳默认值（slave 268435456 67108864 60），该默认值示意缓存积压数据超过268435456bytes(256MB)，或超过67108864bytes(64MB)且继续60s，源端会被动断开与从节点的连贯。

− 源端写入速率5MB/s，迁徙过程可继续进行，不会产生源端buffer满造成的同步失败。

− 迁徙工具读取数据的速率和源端写入速率统一。

场景二：

− 源端replication buffer不做限度（config set"client-output-buffer-limit" "slave 0 0 0"）。

− 源端写入速率10MB/s，容量短缺的状况下，迁徙继续进行。

− 迁徙工具读取数据的速率和源端写入速率统一。

论断： 在华为云环境，应用8U32GB弹性云服务器部署迁徙工具，若源端replication buffer采纳默认值，迁徙可在源端5MB/s的写入速率下进行；若源端对replication buffer不做限度，迁徙可在源端10MB/s的写入速率下进行。

2、Kvrocks到GaussDB(for Redis)的迁徙

Kvrocks是一款开源的兼容Redis生态的NoSQL key-value数据库，底层基于RocksDB实现，提供namespace性能反对数据分区。Kvrocks集群治理性能绝对单薄，自建集群时须要与内部组件配合。Kvrocks反对的redis命令也不够全面，例如短少在音讯流和统计场景常常应用的stream及hyperloglog数据结构。

GaussDB(for Redis)以不亚于RedisCluster的兼容度，使用户在利用时无需批改代码，可间接应用，100%兼容原生接口。GaussDB(for Redis)在适配Kvrocks业务的同时，还能克服器治理能力弱、对Redis兼容度不低等毛病。

2.1 迁徙原理

应用开源工具kvrocks2redis进行Kvrocks到GaussDB(forRedis)的迁徙，在此基础上，从GaussDB(for Redis)源码层面对Kvrocks的namespace性能进行适配。

迁徙过程分为全量和增量两个阶段：迁徙开始后，先进行全量迁徙，此时对kvrocks打快照，并记录对应的数据版本（seq）。而后解析全量数据文件成redis命令写入GaussDB(for Redis)。全量迁徙实现后进入继续的增量迁徙过程，迁徙工具循环给Kvrocks发送PSYNC命令，将获取到的增量数据一直转发给GaussDB(forRedis)，实现增量迁徙 。

2.2 前提条件

• 部署kvrocks2redis到独立主机。
• 确保源端、指标端、迁徙工具之间网络互通。
• 源端Kvrocks实例提前做好数据备份。
• 指标端GaussDB(forRedis)实例清空全副数据。

2.3 操作步骤

1. 批改迁徙工具配置文件，填入源端kvrocks连贯信息、指标端GaussDB (for Redis) 连贯信息、源端kvrocks namespace到指标端GaussDB(for Redis) DB的映射关系。

1. 确保配置文件内容正确。

1. 启动迁徙工具。

1. 跟踪日志，确保全量迁徙顺利完成，进入继续增量迁徙过程。

1. 进行验证。确保数据迁徙后，指标端GaussDB (for Redis) 已正确加载全副数据。

1. 待后续业务侧压力转移到GaussDB (for Redis) 后，进行增量迁徙，即手动进行迁徙工具的运行。

2.4 应用须知

• kvrocks2redis须要从Kvrocks提取数据到本地文件，并从中解析出命令发送到指标端GaussDB(forRedis) ，该过程中可能影响源端性能，但实践上不会有数据受损危险。
• 迁徙工具运行过程中，若呈现问题，迁徙工具会主动进行，不便问题定位。
• GaussDB(for Redis)从安全性角度登程，不提供清库语义命令，因而要在迁徙开始前确保无数据。

3、Pika到GaussDB(for Redis)的迁徙

Pika是一个可长久化的大容量Redis存储服务，解决了Redis因为存储数据量微小而导致内存不够用的容量瓶颈。但其集群治理性能较为单薄，须要应用twemproxy或者codis实现静态数据分片，数据一致性较弱。同时因为数据全副存储在磁盘中，相比于社区版Redis，性能显著降落。

GaussDB(for Redis)实现了冷热拆散，解决了缓存（cache）与数据库（Data Base，DB）之间交互拜访的问题，当用户数据量小于内存时能够达到和社区版redis相当的性能。通过proxy代理，使下层业务能够不感知内核解决扩缩容过程中的数据迁徙。

3.1 迁徙原理

应用开源迁徙工具pika-port进行Pika到GaussDB(for Redis)的迁徙。pika-port伪装成Pika的从节点运行，通过主从复制的形式进行数据迁徙。Pika主节点通过比拟pika-port和本人的binlog偏移量判断做全量迁徙还是增量迁徙。如果须要做全量迁徙，Pika主节点会将全量数据快照发送给pika-port，pika-port将解析后的快照数据发送给GaussDB(for Redis)。全量迁徙完结后进入增量迁徙，pika-port将增量数据解析后以redis命令的模式发送给GaussDB(for Redis)。

3.2 前提条件

• 部署迁徙工具pika-port
• 确保源端Pika实例、pika-port和指标端GaussDB(forRedis)实例网络互通。

3.3 操作步骤

1. 正确批改pika-port配置文件；
2. 启动迁徙工具pika-port;
3. 跟踪日志，确保全量迁徙实现后停服，进入增量迁徙过程;
4. 增量迁徙实现后，校验迁徙数据的正确性和齐备性;
5. 校验结束将业务切到GaussDB (for Redis)。

3.4 应用须知

• pika-port伪装成源端Pika的从节点，只读取全量和增量数据，无数据受损危险。
• 源端减少了和pika-port的主从同步流程，可能会影响源端性能。
• 全量和增量联合迁徙能够不停服，业务切入GaussDB(for Redis)时短暂停服。

3.5 迁徙性能参考

环境：Pika（单节点）和pika-port同时部署在华为云8U32GB的弹性云服务器上，指标端为8U16GB，3节点GaussDB(for Redis)实例。

预置数据：应用memtier_benchmark工具预置200GB数据。

迁徙性能：约50000qps。

4、结语

高斯 Redis 在社区版 Redis 的根底上，联合华为自研强统一存储DFV Pool，具备强统一、秒扩容、超可用、低成本等劣势，保障了计数的准确性、可靠性。

本文作者：华为云高斯Redis团队。

杭州西安深圳简历投递：yuwenlong4@huawei.com

更多技术文章，关注高斯Redis官网博客：

https://bbs.huaweicloud.com/community/usersnew/id_1614151726110813

点击关注，第一工夫理解华为云陈腐技术~