乐趣区

5000字硬核干货Redis-分布式集群部署实战

jiezi

原理：

  • Redis 集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽，对写入的数据进行哈希后分配到某个主节点进行存储。
  • 集群使用公式（CRC16 key）& 16384 计算键 key 数据那个槽。
  • 16384 个 slot 均匀分布在各个节点上。
  • 集群中每个主节点将承担一部分槽点的维护，而槽点中存储着数据，每个主节点都有至少一个从节点用于高可用。
节点通信方式：
  • 开启一个端口 设置的端口号 +10000，用于集群之间节点通信交换信息。
  • 每个节点默认每秒 10 次选择随机 5 个节点发送 ping 消息，将自身信息和知道的集群信息传递，收到 ping 消息后返回 pong 消息做回复，最后通过这种随机的消息交换，最终每个节点将获得所有信息。
  • 当某个主节点挂掉，所有节点将会发现主节点挂掉了，作为主节点的从节点，就会接替主节点的工作，然后告诉所有其它节点，他成为了主。这样其它存活节点，就将它们维护的信息表更新从节点将接任做主，如果都挂掉集群将报错。当从一个节点操作，根据一致性哈希计算后将存储在其中一个主节点中，从节点将同步主的数据。

  • redis cluster 是去中心化的，集群中的每个节点都是平等的关系，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃。
  • 搭建集群时，会为每一个分片的主节点，对应一个从节点。实现 slaveof 功能，同时当主节点 down，实现 sentinel 哨兵的自动 failover 切换功能

Redis 分布式集群（部署）：

端口号：7000-7005

本次分布式分片集群在一台 LInux 系统即可，只需要安装多个实例作为集群配置。

安装 ruby 环境支持：
yum -y install ruby rubygems

yum 安装 2.0.0 版本，但是 gem 需要 2.2.2 版本以上，所以选择编译

下载并安装 ruby 环境：
wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz
tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/
./configure --prefix=/usr/local/ruby
make && make install && echo $?
echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile
source /etc/profile
修改 gem 工具国内源：
# 查看 gem 工具源地址
gem sources -l
# 添加一个阿里云的 gem 工具源
gem sources -a http://mirrors.aliyun.com/rubygems/
# 删除 gem 工具默认国外源
gem sources --remove https://rubygems.org/
# 下载当前最新版本集群插件
gem install redis -v 4.1.0
集群节点准备：
mkdir /data/700{0..5}
配置 7000 端口实例：
vim /data/7000/redis.conf
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
拷贝其他端口实例：
# 拷贝配置文件 cp /data/7000/redis.conf /data/7001/
cp /data/7000/redis.conf /data/7002/
cp /data/7000/redis.conf /data/7003/
cp /data/7000/redis.conf /data/7004/
cp /data/7000/redis.conf /data/7005/
# 修改配置文件内容
sed -i 's#7000#7001#g' /data/7001/redis.conf
sed -i 's#7000#7002#g' /data/7002/redis.conf
sed -i 's#7000#7003#g' /data/7003/redis.conf
sed -i 's#7000#7004#g' /data/7004/redis.conf
sed -i 's#7000#7005#g' /data/7005/redis.conf
启动所有实例：
redis-server /data/7000/redis.conf
redis-server /data/7001/redis.conf
redis-server /data/7002/redis.conf
redis-server /data/7003/redis.conf
redis-server /data/7004/redis.conf
redis-server /data/7005/redis.conf
创建命令软链接：
（这个命令过期了，现在使用 redis-cli 命令）（可选执行命令）
ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/
查看进程：
ps -ef |grep redis-server

加入所有实例节点到集群管理：
# --replicas 1",1 是代表每一个主有一个从, 后面的是所有节点的地址与端口信息
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

分布式主从规则为，前三个实例节点是主，对应的后面三个实例节点为从节点，如果 replicas 2，那就多加 3 个实例节点

查看主节点状态：
redis-cli -p 7000 cluster nodes|grep master

查看从节点状态：
redis-cli -p 7000 cluster nodes|grep slave

Redis- 分布式集群（管理）

集群节点增加准备：

mkdir /data/700{6..7}

拷贝其他端口实例：# 拷贝配置文件 cp /data/7000/redis.conf /data/7006/
cp /data/7000/redis.conf /data/7007/

# 修改配置文件内容
sed -i 's#7000#7006#g' /data/7006/redis.conf
sed -i 's#7000#7007#g' /data/7007/redis.conf

启动新节点实例：

redis-server /data/7006/redis.conf
redis-server /data/7007/redis.conf
查看进程：
ps -ef |grep redis-server

添加主节点：（7000 实例是管理节点）
#' 把 7006 实例添加到 7000 实例这个主节点所在集群内(此时已经有了 4 个主节点)
redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000
查看主节点状态：
redis-cli -p 7000 cluster nodes|grep master

转移 slot（重新分片）：
#' 操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点 ID
redis-cli --cluster reshard 127.0.0.1:7000

How many slots do you want to move (from 1 to 16384)? 4096
#通过人工手动计算数据分片总大小除以主节点后的数字

What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953
#选择接收数据分片的节点 ID，（这是新增节点 7006 实例的 ID 号）Source node #1: all
#选择从哪些源主节点重新分片给新主节点）（all 是所有节点）Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#确认修改以上的操作
重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master

添加从节点：
#' 把 7007 实例节点添加到 7006 实例主节点内，并指定对应 7006 实例主节点坐在集群的管理节点
redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953
查看从节点状态：
redis-cli -p 7000 cluster nodes|grep slave

集群节点删除准备：

移动要删除节点的数据分片：
#' 操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点 ID
redis-cli --cluster reshard 127.0.0.1:7000

#方法是根据要删除 master 节点的分片位置，然后一个组分一个节点，也可以直接移动所有数据片到一个节点
How many slots do you want to move (from 1 to 16384)? 1365                    

#通过人工手动查看数据分片总大小
What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447

#选择接收数据分片的节点 ID，（这是新增节点 7006 实例的 ID 号）Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953

#选择从哪些源主节点重新分片给新主节点（这是要删除的主节点的 ID 号）Source node #2: 

done
#这是结束命令

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#确认修改以上的操作
重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master

继续移动数据片：
#' 操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点 ID
redis-cli --cluster reshard 127.0.0.1:7000

# 方法是根据要删除 master 节点的分片位置，然后一个组分一个节点，也可以直接移动所有数据片到一个节点
How many slots do you want to move (from 1 to 16384)? 1366                    

#通过人工手动查看数据分片总大小
What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c

#选择接收数据分片的节点 ID，（这是新增节点 7006 实例的 ID 号）Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953

#选择从哪些源主节点重新分片给新主节点（这是要删除的主节点的 ID 号）Source node #2: 

done
#这是结束命令

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#确认修改以上的操作
重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master

最后一次移动数据片：
#' 操作集群管理节点从新分配，并在交互界面指定分片大小、选择接收分片的节点 ID
redis-cli --cluster reshard 127.0.0.1:7000

#方法是根据要删除 master 节点的分片位置，然后一个组分一个节点，也可以直接移动所有数据片到一个节点
How many slots do you want to move (from 1 to 16384)? 1365                    
重新查看主节点状态：（可以看到集群数据的重新分片）
redis-cli -p 7000 cluster nodes|grep master

删除清空数据片的主节点：
#' 删除已经清空数据的 7006 实例
redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953
#删除没有主库的 7007 实例
redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab

其他配置管理：

# 内存信息查看
redis-cli -p 6382 -a redhat info memory

#设置最大只能使用 100MB 的内存
redis-cli -p 6382 -a redhat config set maxmemory 102400000

如有错误或其它问题，欢迎小伙伴留言评论、指正。如有帮助，欢迎点赞 + 转发分享。

作者：民工哥
链接：https://segmentfault.com/a/11…
来源：SegmentFault 思否
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

退出移动版