【摘要】 云数据库GaussDB(for Redis)作为华为云旗下企业级Redis，致力于为客户提供稳固牢靠、超高并发，且可能极速弹性扩容的KV存储服务。
GaussDB(for Redis)是一款基于计算存储拆散架构，兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多正本强统一机制，反对长久化存储。在保障数据库的高兼容、搞性价比、高牢靠、无损扩容等特点的同时，GaussDB(for Redis)团队针对不同的数据库产品，为用户提供了多种数据迁徙计划，本期将具体介绍SSDB、LevelDB和RocksDB到GaussDB(for Redis)的迁徙。

1      SSDB到GaussDB(for Redis)的迁徙

        SSDB是一款应用C/C++语言开发的高性能NoSQL数据库，和Redis具备类似的API，反对KV，list，map(hash)，zset(sorted set)，qlist(队列)等数据结构，因而失去了宽泛的利用。SSDB是一个长久化的KV存储系统，底层应用leveldb作为存储引擎。其业务间接与LevelDB交互，Compaction等操作会对业务读写造成间接的影响。 GaussDB(for Redis)是一款兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多正本强统一机制，以保证数据的安全性和可靠性。GaussDB(for Redis)应用RocksDB作为存储引擎，其性能与leveldb相比有了很大的晋升, 并解决了leveldb被动限度写的问题，同时实现了冷热拆散，减小了存储层的操作对性能造成的影响。

1.1      迁徙原理

        ssdb-port作为源端SSDB数据库的主节点的从节点（replica）运行，通过主从复制的形式进行数据迁徙。将获取到的数据解析、转换为Redis反对的格局，并发送到配置文件中指定的Redis实例，迁徙过程如下图所示。全量同步实现后，SSDB中新增的数据也会同步到Redis实例中。

1.2      前提条件

  • 部署迁徙工具ssdb-port。
  • 保障迁徙工具ssdb-port、源端SSDB和指标端GaussDB(for Redis)网络互通。

1.3      操作步骤

  1. 正确批改ssdb-port的配置文件conf。
  2. 应用./ssdb-port ssdb_port.conf命令启动过程，进行数据迁徙。
  3. 跟踪迁徙日志，评估迁徙进度，迁徙实现后，在高斯Redis实例上校验迁徙数据的正确性和齐备性。
  4. 校验实现后将业务切到GaussDB (for Redis)

1.4      应用须知

  • ssdb-port作为SSDB主节点的从节点，只读取全量和增量数据，无数据受损危险。
  • 因为在源端应用ssdb-port迁徙工具，源端SSDB性能会受到肯定的影响。
  • 全量迁徙和增量迁徙能够不停服，数据全副迁入GaussDB(for Redis)后须要短暂停服。

1.5      迁徙性能参考

  • 环境：源端SSDB和ssdb-port同时部署在华为云4U16GB的弹性云服务器上，指标端为8U16GB，3节点GaussDB(for Redis)实例。
  • 预置数据：应用memtier_benchmark工具预置100GB数据。
  • 迁徙性能：约3000qps。

2      LevelDB到GaussDB(for Redis)的迁徙

        LevelDB是一个开源的长久化KV单机数据库引擎，具备很高的随机写，程序读/写性能，适宜利用在写多读少的场景。其外部没有设计成C/S网络结构，应用时必须和服务部署在同一台服务器，对于服务的部署、应用有较大的限度。相比于在LevelDB根底上开发的RocksDB,  LevelDB存在较多毛病，如无奈很好的应用多核服务器的计算性能，无奈撑持TB级数据存储，不反对从HDFS读取数据等。

        GaussDB(for Redis)采纳RocksDB作为存储引擎，兼容Redis协定，具备丰盛的数据类型，能够满足LevelDB的应用需要。同时GaussDB(for Redis)对RocksDB进行深度定制，实现秒级决裂弹性扩容，扩缩容无需搬迁数据，疾速而平滑，为LevelDB业务转到Redis生态提供了便当。

2.1      迁徙原理

        应用自研迁徙工具leveldb-port，和LevelDB部署在雷同机器上，筹备好配置文件，启动迁徙即可主动实现全量与增量的迁徙。全量迁徙对LevelDB数据进行快照，而后扫描整个数据库，将数据打包成GaussDB(for Redis)辨认的格局，发送到GaussDB(for Redis) ，具备很高的迁徙效率。增量迁徙解析LevelDB的wal文件，将LevelDB的操作解析进去，而后对其中的key进行分片，多线程进行发送。

2.2      操作步骤

1.  筹备工作：

  • 将 leveldb-port 部署在 leveldb 所在服务器上，确保与高斯 Redis 网络买通。
  • 确保指标端GaussDB (for Redis) 实例已清空。
  • 批改配置文件。

2. 执行命令./leveldb-port ./leveldb-port.conf。

3. 跟踪日志，判断迁徙状态：

  • 全量迁徙实现，会打印"Full migrate finished"；
  • 增量迁徙定时打印尚未实现的 wal 文件数及尚未发送进来的 kv 数。

4. 数据验证：对 LevelDB 进行抽样验证，确保GaussDB (for Redis) 加载数据正确。

5. 服务切换：当增量迁徙进入序幕时，将服务切换到GaussDB (for Redis)。

2.3      应用须知

  • 迁徙工具须要部署在源端，对性能有肯定耗费，可通过批改配置文件进行肯定的管制。
  • 迁徙过程读取LevelDB的源数据文件，只读操作，实践上不会有数据受损危险。
  • 迁徙过程不须要停服。
  • 若迁徙过程呈现故障，须要清理GaussDB(for Redis)实例，重新启动迁徙。

3      RocksDB到GaussDB(for Redis)的迁徙

        RocksDB是FaceBook基于LevelDB开发的一个长久化KV单机数据库引擎，具备弱小的程序读写及随机写性能。绝对于LevelDB，RocksDB做了许多优化，性能有了很大晋升， 而且解决了LevelDB被动限度写的问题。作为一个数据库引擎，RocksDB没有设计成C/S网络结构，间接应用须要和服务部署在同一台服务器，对于服务的部署、应用有较大的限度。

        GaussDB(for Redis)采纳RocksDB作为存储引擎，兼容Redis协定具备丰盛的数据类型，能够满足RocksDB的应用需要。同时GaussDB(for Redis)对RocksDB进行深度定制，实现秒级决裂弹性扩容，扩缩容无需搬迁数据，疾速而平滑，为RocksDB业务转到Redis生态提供了便当。

3.1      迁徙原理

        应用自研迁徙工具rocksdb-port，和RocksDB部署在雷同机器上，筹备好配置文件，启动迁徙即可主动实现全量与增量的迁徙。全量迁徙对RocksDB数据进行快照，而后扫描整个数据库，将数据打包成GaussDB(for Redis)辨认的格局，发送到GaussDB(for Redis)，具备很高的迁徙效率。增量迁徙解析RocksDB的wal文件，将RocksDB的操作解析进去，而后对其中的key进行分片，多线程进行发送。

3.2      前提条件

  • 部署迁徙工具pika-port
  • 确保源端Pika实例、pika-port和指标端GaussDB(for Redis)实例网络互通。

3.3      操作步骤

1. 筹备工作：

  • 将 rocksdb-port 部署在 rocksdb 同服务器上，确保与高斯 Redis 网络买通。
  • 确保指标端GaussDB (for Redis) 实例已清空。
  • 批改配置文件。

2. 启动迁徙：执行命令./rocksdb-port ./rocksdb-port.conf

3. 跟踪日志，判断迁徙状态：

  • 全量迁徙实现，会打印"Full migrate finished"；
  • 增量迁徙定时打印尚未解析的 wal 文件数及尚未发送进来的 kv 数。

4. 数据验证：对 RocksDB 进行抽样验证，确保 GaussDB (for Redis) 加载数据正确。

5. 服务切换：当增量迁徙进入序幕时，将服务切换到 GaussDB (for Redis) 。

3.4      应用须知

  • 迁徙工具须要部署在源端，对性能有肯定耗费，可通过批改配置文件进行肯定的管制。
  • 迁徙过程读取RocksDB的源数据文件，只读操作，实践上不会有数据受损危险。
  • 迁徙过程不须要停服。
  • 若迁徙过程呈现故障，须要清理GaussDB(for Redis)实例，重新启动迁徙。

4      结语

        高斯 Redis 在社区版 Redis 的根底上，联合华为自研强统一存储DFV Pool，具备强统一、秒扩容、超可用、低成本等劣势，保障了计数的准确性、可靠性。

本文由博客群发一文多发等经营工具平台 OpenWrite 公布