关于redis:突破开源Redis的内存限制存算分离的GaussDB到底有多能装

4次阅读

共计 1896 个字符,预计需要花费 5 分钟才能阅读完成。

摘要:GaussDB(for Redis)(下文简称 高斯 Redis)是华为云数据库团队自主研发的兼容 Redis 协定的云原生数据库,该数据库采纳计算存储拆散架构,冲破开源 Redis 的内存限度,可轻松扩大至 PB 级存储。

GaussDB(for Redis)(下文简称 高斯 Redis)是华为云数据库团队自主研发的兼容 Redis 协定的云原生数据库,该数据库采纳计算存储拆散架构,冲破开源 Redis 的内存限度,可轻松扩大至 PB 级存储。

本文将从存储架构、四大个性、竞争力、利用场景等方面进行介绍。

  1. 存储架构

高斯 Redis 基于计算存储拆散架构,计算层实现热数据缓存,存储层实现全量数据的落盘,两头通过 RDMA 高速网络互连,通过算法预测用户的拜访法则,实现数据的主动冷热替换,最终达到极致的性能晋升。

  1. 四大个性

该架构基于华为外部弱小且宽泛应用的自研分布式存储系统 DFV,实现了一套 Share Everything 的云原生架构,充分发挥了云原生的弹性伸缩、资源共享的劣势,使得高斯 Redis 具备强统一、秒扩容、低成本、超可用的四大特点,完满避开了开源 Redis 的主从沉积、主从不统一、fork 抖动、内存利用率只有 50%、大 key 阻塞、gossip 集群治理等问题。

Ø 强统一

数据复制是存储的事件,因而业余的事件交给业余的团队来做。通过分布式存储 DFV,高斯 Redis 轻松实现了 3 正本强统一,并可轻松反对 6 正本,为业界独创。

在强统一架构下,用户再也不必放心开源 Redis 的主从沉积,带来的丢数据、不统一、OOM 等极其问题,更不必放心业务出错,比方计数器、限流器、拜访统计、hash 字段等不统一。

Ø 秒扩容

数据规模收缩之后,扩容是个高危且艰难的操作。高斯 Redis 基于云原生架构,将扩容分成计算层和存储层。计算层扩容,无需任何数据搬迁,只需批改路由映射,即可秒级实现。存储层是个共建的超级数据湖,其容量微小,而且扩容是切成细腻度的 64MB 数据分区,对下层数据库业务简直无感。

因而高斯 Redis 能够轻松撑持业务的大规模收缩,并且真正做到计算 / 存储分层的按需扩容和购买。

Ø 低成本

高斯 Redis 绝对于开源 Redis,在存储介质上应用了磁盘代替内存。一方面,因为采纳存算拆散架构,计算资源少了一半,即没有从节点;另一方面,存储资源按需购买,无任何节约,并且采纳了逻辑 / 物理压缩。最终,每 GB 综合老本不到开源 Redis 的十分之一。

Ø 超可用

开源 Redis 或友商 Redis 不论单分片还是集群,其数据复制都采纳主从架构,导致 N 个节点的集群,如果同时挂掉一对主从(即 2 个节点),整个集群就不可用。而高斯 Redis 采纳存算拆散之后,每个计算节点都能够看到并共享所有数据,因而 N 个节点,最多能够容忍挂掉 N - 1 个节点,真正做到比高可用还高的可用性。

  1. 竞争力剖析

  1. 场景举荐

高斯 Redis 不仅性能迫近缓存,而且其存储能力(扩展性、高性能、易用性)超过数据库。因而除了缓存场景能够抉择高斯 Redis 以外,上至 PB 级别大规模数据存储都能够抉择高斯 Redis。场景参考如下:

  1. 抉择倡议

  1. 命令兼容

兼容 5.0 协定,包含 string/hast/list/zset/set/stream/geo/ HyperLogLog/bitmap/pubsub 等等,但出于性能和安全性思考,禁用个别危险命令,具体参考:https://support.huaweicloud.com/usermanual-nosql/nosql_09_0076.html

  1. 容量参考

以往用户抉择开源 Redis 的时候,须要购买内存,比方用户数据是 100G,因为开源 Redis 内存使用率减半,须要购买 200G 内存,并且为了高可用,还得购买 200G 的从节点,那么加起来就是 400G 的内存。然而购买 高斯 Redis时,用户只须要依据实在寄存的数据大小,按需抉择购买存储空间即可,内存只是为了性能减速(内存 / 磁盘比越大,性能越好)。

附:材料参考

  1. 《华为云 GaussDB(for Redis)与自建开源 Redis 的老本比照》

https://www.modb.pro/db/42739

  1. 《一场由 fork 引发的超时,让咱们从新探讨了 Redis 的抖动问题》https://bbs.huaweicloud.com/blogs/227525
  2. 《当 Redis 遇见计算存储拆散》

https://developer.huaweicloud.com/hero/forum/thread-83188-1-1.html

  1. 《GaussDB(for Redis)与原生 Redis 的性能比照》

https://bbs.huaweicloud.com/blogs/236949

正文完
 0