支撑微博亿级社交平台小白也能玩转Redis集群实战篇

3次阅读

共计 4867 个字符,预计需要花费 13 分钟才能阅读完成。

上篇文章《支撑微博亿级社交平台,小白也能玩转 Redis 集群(原理篇)》介绍了 Redis 集群相关原理,这篇文章将介绍 Redis Cluster 集群的搭建、配置,运维、扩容等具体操作

集群搭建

2018 年 10 月 Redis 发布了稳定版本的 5.0 版本,推出了各种新特性,其中一点是集群管理工具从基于 Ruby 的 redis-trib.rb 移植到基于 C 语言 redis-cli 中,方便集群的构建和管理

Redis Cluster 集群运行至少需要包含 3 个主节点,实现高可用最少需要 3 主 3 从 6 个节点

以下步骤基于 Redis 5.0.5 版本,介绍如何在一台 Linux 服务器上搭建有 3 主 3 从的 6 节点的 Redis 集群

  • 步骤 1 创建安装目录
mkdir -p /data/project/redis-cluster
  • 步骤 2 下载源码并解压编译
cd /data/project/redis-cluster
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar xzf redis-5.0.5.tar.gz
cd redis-5.0.5
make

执行 make 后,如果报错“jemalloc/jemalloc.h:没有那个文件或目录”,可以改为用以下命令:

make MALLOC=libc
  • 步骤 3 创建 6 个 Redis 配置文件
    6 个配置文件不能在同一个目录,下面 Redis 6 个节点分别安装在 7000~7005 端口

首先创建配置文件目录及文件,定义如下:

mkdir -p /data/project/redis-cluster/nodes/7000
mkdir -p /data/project/redis-cluster/nodes/7001
mkdir -p /data/project/redis-cluster/nodes/7002
mkdir -p /data/project/redis-cluster/nodes/7003
mkdir -p /data/project/redis-cluster/nodes/7004
mkdir -p /data/project/redis-cluster/nodes/7005

touch /data/project/redis-cluster/nodes/7000/redis.conf
touch /data/project/redis-cluster/nodes/7001/redis.conf
touch /data/project/redis-cluster/nodes/7002/redis.conf
touch /data/project/redis-cluster/nodes/7003/redis.conf
touch /data/project/redis-cluster/nodes/7004/redis.conf
touch /data/project/redis-cluster/nodes/7005/redis.conf

redis.conf 配置文件的内容为:

############################## 网络 ##############################
# 端口
port 7000
# 非保护模式,如果值为 yes,则必须是 bind 配置指定的 ip 的机器连接或者使用密码连接
protected-mode no 

############################## 通用 ##############################
# 后台运行
daemonize yes 
# 记录 redis 进程 pid
pidfile  /var/run/redis_7000.pid

############################## 集群 ##############################
# 启用集群模式
cluster-enabled yes 
cluster-config-file nodes_7000.conf
# 集群节点如果在该超时时间 (毫秒) 内不可达,则认为节点处于故障状态
cluster-node-timeout 5000

############################## 持久化 ##############################
# AOF, RDB 持久化文件目录
dir /data/project/redis-cluster/nodes
# 开启 AOF 持久化
appendonly yes
# AOF 文件名
appendfilename "appendonly_7000.aof"
# 当目前 aof 文件大小超过上一次重写的 aof 文件大小的百分之多少进行重写
auto-aof-rewrite-percentage 100
# 设置允许重写的最小 aof 文件大小,避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb
# RDB 文件名
dbfilename dump_7000.rdb

其中 port、pidfile、cluster-config-file、appendfilename、dbfilename 配置需要随着节点的不同而调整

配置项说明可以参考 redis-5.0.5/redis.conf,每一项都介绍得很详细,推荐阅读

  • 步骤 4 启动节点
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7000/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7001/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7002/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7003/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7004/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7005/redis.conf

ps -ef|grep redis,可以看到 6 个 redis 进程已启动:

  • 步骤 5 启动集群

使用如下命令启动集群,IP 地址自行替换:

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster create 192.168.56.102:7000 192.168.56.102:7001 192.168.56.102:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005 --cluster-replicas 1

启动成功信息如下:

到此,Redis Cluster 集群搭建完成

集群信息查看

Redis5 的 redis-cli 新增系列集群运维功能,查看命令详情:

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster help

命令参数具体作用可以参考官方文档,下面会基于其中一些常用命令对集群进行管理

  • 检查节点状态
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster check 192.168.56.102:7000

  • 查看集群信息
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster info 192.168.56.102:7000

集群扩容

集群现在有 3 主 3 从,下面新增 4 个节点扩容变成 5 主 5 从

  • 步骤 1 启动新节点

创建 4 个 Redis 配置文件,端口号为 7006~7009,然后启动节点(参考“集群搭建”的步骤 3 和步骤 4)

  • 步骤 2 新节点加入集群

设置 4 个节点分别加入已有 redis 集群,2 个为主节点,2 个为从节点

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7006 192.168.56.102:7005 
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7007 192.168.56.102:7005 

# 24e2c 是节点 7006 的 id,代表该节点加入集群并为 7006 的从节点
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7008 192.168.56.102:7005 --cluster-slave --cluster-master-id 24e2c369678952b07d95c0a4b49c2d7a7b2e2bf7 
# 24e2c 是节点 7007 的 id,代表该节点加入集群并为 7007 的从节点
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7009  192.168.56.102:7005 --cluster-slave --cluster-master-id ab0f74a19819a74238df7a510494e9418678cbe1

此时集群状态如下,其中主节点 7006 和主节点 7007 还没分配任何 slot,在下面的步骤会进行分配:

  • 步骤 3 模拟 slot 重新平衡分配

基于 rebalance 命令,增加 –cluster-simulat 参数,查看会迁移哪些 slots,而不会真正执行迁移操作

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters  --cluster-simulat

返回以下迁移信息:

  • 步骤 4 执行 slot 重新平衡分配

执行 rebalance 命令,平衡集群节点 slot 数量,重新分配 slot(去掉 –cluster-simulat)

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters

至此,集群扩容完成,集群缩容的话,需要基于 reshard 将需被下线的结点中的 slot 移到其他结点,然后基于 del-node 命令删除结点

总结

这篇文章介绍 Redis Cluster 集群一些基本实现,篇幅所限,后面有机会再展开介绍 Redis 一些线上问题踩坑经验、监控运维平台建设,欢迎继续关注

参考

redis cluster 管理工具 redis-trib-rb 详解
http://weizijun.cn/2016/01/08…

正文完
 0