关于redis:Redis-集群主从复制原理

一、前言

 通过 Redis 的长久化性能，保障了 Redis 在宕机重启的状况下也不会失落（或者失落极少局部）数据。然而这只局限在单机状况下。如果这台服务器产生了物理故障、磁盘故障或者磁盘损坏等问题依然会产生数据失落。为了防止单点故障的问题、通常的做法就是将数据库复制多个正本部署在不同的服务器上、这样一台或者某几台服务器呈现故障、其它服务器仍能够对外提供数据。对此 Redis 为咱们提供了复制（replication）的性能、当一台数据库数据发生变化后将主动同步到其它的数据库中。Redis 的复制针对主从架构而设计的这里如果对主从架构还不太理解的倡议就先不要往下看了，花点半个小时去简略的理解下 Redis 的主从架构模式。纵观 Redis 的主从复制原理咱们能够将其形象剥离成三个步骤进行了解。题外话、咱们在学习、了解干燥和乏味的算法或者技术原理时倡议大家先总体的过下流程之后将其形象成一个个简略的模型去了解、这样升高了学习和了解的难度。1. 主从（master < ---- > slave）之间建设连贯阶段。2. 数据同步（复制）阶段
3. 命令流传阶段

二、复制原理

2.1 建设连贯阶段

Redis 主从建设连贯阶段其实很简略，无非就是确认单方的身份建设连贯。
和咱们➕某个心动女孩的微信统一。确认是本人喜爱的，想法设法的搞到微信号、发送好友申请、美眉确认、批准加好友、单方将微信号保留到彼此的好友列表中、彼此就建设起了分割。

间接上图吧！

2.2 数据同步阶段

废话不多少间接上图干起

数据同步阶段 Master 的阐明

1、如果 Master 的数据量过大、数据同步阶段应避开流量顶峰阶段、防止造成 Master 的阻塞、影响失常业务的运行。2、复制缓冲区大小设置的不合理、会造成数据溢出。如果进行全量复制工夫过长、在进行局部复制时发现数据曾经失落的状况会进行二次全量复制（看下增量复制和全量复制的机会）、这样就导致 Slave 陷入一个死循环状态。repl-backlog-size: ??MB

3、Master 单机内存占主机内存不宜过大、倡议在 50% - 70% 左右、留下 30 % - 50% 内存用于执行 bgSave 和创立缓冲区。

数据同步阶段 Slave 的阐明

1、为了防止 Slave 在进行全量同步、局部（增量）同步阶段导致服务响应阻塞或者数据不同步、倡议敞开此期间对外提供服务。slave-server-stale-date: yes|no

2、数据同步阶段 Master 向 Slave 发送信息能够了解为 Master 是 Slave 的一个客户端、被动向 Slave 发送命令。3、当多个 Slave 同时向 Master 发送数据同步申请时、发送的 RDB 文件增多、会对网络宽带造成微小冲击，如果 Master 网络宽带有余、倡议依据本身业务状况、适量错峰同步。4、Slave 过多时倡议调整拓扑构造、由一主多从调整为树形构造、两头节点即是 Master 也 Slave。留神当应用树形构造时因为层级深度、导致层级越深的节点和 Master 的数据提早越大、会导致肯定工夫内呈现数据一致性问题、应用时依据本身业务进行考量。

2.3 命令流传阶段

命令流传阶段就是为了实时保障主从数据统一的过程也就是数据同步过程。

当 Master 数据库状态被批改后，导致主从数据库状态不统一此时就须要让主从数据库的状态同步到统一的状态，同步的动作就称为命令流传。

Master 将接管到的数据变更命令会发送给 Slave、Slave 接管到命令后进行执行命令。

命令流传阶段的复制状况

- 命令流传阶段呈现断网状况
    1. 网络闪断闪连：疏忽
    2. 短时间网络中断：局部（增量）复制
    3. 长时间网络中断：全量复制
    
- 局部（增量）复制三要素
    1. 服务器运行的 ID（run id）2. 主服务器的复制积压缓冲区（backlog）3. 主从服务器复制的偏移量 (offset)

• 服务器运行 ID:

    概念：服务器运行 ID 是每个 Redis 实列运行的惟一身份标识码、每次重启后服务器 ID 都会扭转。组成：运行 ID 是由 40 位字符组成、是一个随机的十六进制的字符串。作用：用于服务实列之间通信时的身份标识。如果两次操作均对同一台服务器上的实列进行操作，则必须携带其运行 runid
        
    实现形式：每台服务实列在启动时主动生成运行 id、Master 在首次连贯上 Slave 时会将本人的 runid 发送给 Slave、Slave 进行保留。能够通过 info server 命令来查看节点的 runid。

• 复制缓冲区：

 复制缓冲区又称为复制积压缓冲区、是一个先进先出的队列（backlog）。用于存储服务器执行过的命令、每次流传命令时主服务器都会将流传的命令记录下来并存储在复制缓冲区、并记录以后命令在缓冲区中的偏移量范畴。复制缓冲区默认存储空间的大小为 1M

当入队列元素的超过队列的长度会将队首的元素弹出并抛弃、新元素退出队列。作用：保留 Master 接管到的所有执行（仅是影响数据状态变动的的指令 set、select）的指令

数据起源：Master 接管到客户端的指令时除了执行该指令还会将该指令保留到缓冲区。

看图谈话

 偏移量：概念：就是一个数字，用来形容缓冲区命令字节的地位。分类：Master 偏移量：记录发送给 Slave 字节命令的偏移量（多个）Slave 偏移量：记录 Slave 接管到字节命令的偏移量（一个）作用：同步信息用、当 Master 和 Slave 断线重连后比照差别，进行数据同步。数据起源：Master: 发送一次记录一次
           
           Slave: 接管一次记录一次 

三、增量复制和全量复制的机会

通过下面的介绍根本明确了什么是全量复制什么是增量复制以及其原理。

当初咱们来总结下什么时候进行增量复制什么时候进行全量复制。

当 Master 收到 PSYNC 命令时会进行以下操作。

1、首先 Master 会判断 Slave 传过来的 run id 是否是本人的 run id、确保 Slave 之前的确是和本人同步的、免得产生 Slave 拿到谬误的数据（如 Master 重启过，会造成数据不统一）。2、判断从数据库发送的偏移量是否在缓冲队列中如果在则产生增量同步、Master 会将缓冲队列中的命令发送给 Slave。

如果此次重连不合乎上述条件就会产生全量复制。