关于rabbitmq:RabbitMQ集群镜像模式搭建

[TOC]

RabbitMQ 是基于 Erlang 编写，Erlang 语言天生具备分布式个性（通过同步 Erlang 集群各节点的 magic cookie 来实现）。因而，RabbitMQ 人造反对 Clustering。这使得 RabbitMQ 自身不须要像 ActiveMQ、Kafka 那样通过 ZooKeeper 别离来实现 HA 高可用计划和保留集群的元数据。集群是保障可靠性的一种形式，同时能够通过程度扩大以达到减少音讯吞吐量能力的目标。

个别就是本地启动进行开发，不用于生产用

主备模式

Warren 模式。实现 rabbitMQ 的高可用集群，个别在并发和数据量不高的状况下，这种模式十分的好用且简略。也就是一个主 / 备计划，主节点提供读写，备用节点不提供读写。如果主节点挂了，就切换到备用节点，原来的备用节点降级为主节点提供读写服务，当原来的主节点复原运行后，原来的主节点就变成备用节点，和 activeMQ 利用 zookeeper 做主 / 备一样，也能够一主多备。

近程模式

近程模式能够实现双活的一种模式，简称 shovel 模式，所谓的 shovel 就是把音讯进行不同数据中心的复制工作，能够跨地区的让两个 MQ 集群互联，远距离通信和复制。Shovel 就是咱们能够把音讯进行数据中心的复制工作，咱们能够跨地区的让两个 MQ 集群互联。rabbitMQ 比拟晚期的架构模型了，当初很少应用了。

多活模式

多活模式：这种模式也是实现异地数据复制的支流模式，因为 Shovel 模式配置比较复杂，所以一般来说实现异地集群都是应用这种双活或者多活模型来实现的。这种模型须要依赖 rabbitmq 的 federation 插件，能够实现继续的牢靠的 AMQP 数据通信，多活模式在理论配置与利用上十分的简略。提供了更牢靠的齐备的数据保障，即便一个集群挂掉，也还有另外一个集群。

RabbitMQ 部署架构采纳双核心模式 (多核心) , 那么在两套(或多套) 数据中心中各部署一套 RabbitMQ 集群，各核心的 RabbitMQ 服务除了须要为业务提供失常的音讯服务外，核心之间还须要实现局部队列音讯共享。

一般集群

默认模式，RabbitMQ 集群中节点包含内存节点、磁盘节点。内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘上。如果在投递音讯时，关上了音讯的长久化，那么即便是内存节点，数据还是平安的放在磁盘。那么内存节点的性能只能体现在资源管理上，比方减少或删除队列（queue），虚拟主机（vrtual hosts），交换机（exchange）等，发送和承受 message 速度同磁盘节点一样。一个集群至多要有一个磁盘节点。一个 rabbitmq 集群中能够共享 user，vhost，exchange 等，所有的数据和状态都是必须在所有节点上复制的，对于 queue 依据集群模式不同，应该有不同的体现。在集群模式下只有有任何一个节点可能工作，RabbitMQ 集群对外就能提供服务。

以两个节点（rabbit01、rabbit02）为例来进行阐明。对于 Queue 来说，音讯实体只存在于其中一个节点 rabbit01（或者 rabbit02），rabbit01 和 rabbit02 两个节点仅有雷同的元数据，即队列的构造。当音讯进入 rabbit01 节点的 Queue 后，consumer 从 rabbit02 节点生产时，RabbitMQ 会长期在 rabbit01、rabbit02 间进行音讯传输，把 A 中的音讯实体取出并通过 B 发送给 consumer。所以 consumer 应尽量连贯每一个节点，从中取音讯。即对于同一个逻辑队列，要在多个节点建设物理 Queue。否则无论 consumer 连 rabbit01 或 rabbit02，进口总在 rabbit01，会产生瓶颈。当 rabbit01 节点故障后，rabbit02 节点无奈取到 rabbit01 节点中还未生产的音讯实体。如果做了音讯长久化，那么得等 rabbit01 节点复原，而后才可被生产；如果没有长久化的话，就会产生音讯失落的景象。

镜像集群

十分经典的 mirror 镜像模式，保障 100% 数据不失落。在理论工作中也是用得最多的，并且实现十分的简略，个别互联网大厂都会构建这种镜像集群模式。

把须要的队列做成镜像队列，存在与多个节点属于 RabbitMQ 的 HA 计划。该模式解决了一般模式中的问题，其实质和一般模式不同之处在于，音讯实体会被动在镜像节点间同步，而不是在客户端取数据时长期拉取。该模式带来的副作用也很显著，除了升高零碎性能外，如果镜像队列数量过多，加之大量的音讯进入，集群外部的网络带宽将会被这种同步通信大大消耗掉。所以在对可靠性要求较高的场合中实用。

镜像队列基本上就是一个非凡的 BackingQueue，它外部包裹了一个一般的 BackingQueue 做本地音讯长久化解决，在此基础上减少了将音讯和 ack 复制到所有镜像的性能。所有对 mirror_queue_master 的操作，会通过组播 GM（上面会讲到）的形式同步到各 slave 节点。GM 负责音讯的播送，mirror_queue_slave 负责回调解决，而 master 上的回调解决是由 coordinator 负责实现。mirror_queue_slave 中蕴含了一般的 BackingQueue 进行音讯的存储，master 节点中 BackingQueue 蕴含在 mirror_queue_master 中由 AMQQueue 进行调用。

软件	版本	备注
rabbitmq	3.8.8	须要装置对应的 erlang 版本
erlang	23.x	rabbitmq 对应 erlang 版本

主机名	操作系统	IP	备注
rabbitmq1	centos7.4	192.168.1.1	磁盘节点，治理节点
rabbitmq2	centos7.4	192.168.1.2	内存节点
rabbitmq3	centos7.4	192.168.1.3	内存节点

批改 /etc/hosts 文件

192.168.1.1 rabbitmq1
192.168.1.2 rabbitmq2
192.168.1.3 rabbitmq3

别离在以上三台主机上执行如下步骤：

# 下载 erlang 软件包源
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
sudo yum install epel-release -y
# 装置 erlang 软件包源
sudo rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
# 装置 erlang 环境
sudo yum install erlang -y

验证

[root@rabbitmq1 ~]# erl
Erlang/OTP 23 [erts-11.1]  [64-bit] [smp:8:8] [ds:8:8:10] [async-threads:1] [hipe]
Eshell V11.1  (abort with ^G)

# 下载介质源
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.8/rabbitmq-server-3.8.8-1.el7.noarch.rpm
# 装置介质源
yum install -y rabbitmq-server-3.8.8-1.el7.noarch.rpm
# 关上开启动
systemctl enable rabbitmq-server
# 启动服务
systemctl start rabbitmq-server
# 查看服务状态
systemctl status rabbitmq-server

验证

[root@rabbitmq1 ~]$ systemctl status rabbitmq-server.service
● rabbitmq-server.service - RabbitMQ broker
   Loaded: loaded (/usr/lib/systemd/system/rabbitmq-server.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2020-12-05 15:34:50 UTC; 13h ago
 Main PID: 11663 (beam.smp)
   Status: "Initialized"
   CGroup: /system.slice/rabbitmq-server.service
           ├─11663 /usr/lib64/erlang/erts-11.1/bin/beam.smp -W w -K true -A 128 -MBas ageffcbf -MHas ageffcbf -MBlmbcs 512 -MHlmbcs 512 -MMmcs 30 -P 1048576 -t 5000000 -stbt db -zdbbl 128000 -- -root ...
           ├─11844 erl_child_setup 32768
           ├─11918 inet_gethost 4
           └─11919 inet_gethost 4

将 rabbitmq1 作为群集的治理节点。

copy erlang 集群文件到 rabbitmq2、rabbitmq3 的 /var/lib/rabbitmq/ 目录中，将重启systemctl restart rabbitmq-server rabbitmq2、rabbitmq3 的服务。

# 查看 erlang 分布式集群文件
[root@rabbitmq1 ~]# ls -al /var/lib/rabbitmq
total 8
drwxr-xr-x   3 rabbitmq rabbitmq   42 Oct 30 21:47 .
drwxr-xr-x. 27 root     root     4096 Oct 30 21:20 ..
-r--------   1 rabbitmq rabbitmq   20 Oct 30 00:00 .erlang.cookie
drwxr-x---   4 rabbitmq rabbitmq  135 Oct 30 21:47 mnesia
# 查看.erlang.cookie 内容
[root@rabbitmq1 rabbitmq]# cat .erlang.cookie 
SFWVLUCDUUVPIVRJDWTE[root@rabbitmq1 rabbitmq]#
# copy .erlang.cookie 文件到其它主机对应的目录中
[root@rabbitmq1 rabbitmq]# scp .erlang.cookie  root@rabbitmq2:/var/lib/rabbitmq/
root@rabbitmq2's password: 
.erlang.cookie                             100%   20    27.0KB/s   00:00    
[root@rabbitmq1 rabbitmq]# scp .erlang.cookie  root@rabbitmq3:/var/lib/rabbitmq/
root@rabbitmq3's password: 
.erlang.cookie                             100%   20    36.7KB/s   00:00s

将 rabbitmq2、rabbitmq3 退出群集

# 在 rabbitmq1 上看群集的状态
[root@rabbitmq1 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@rabbitmq1 ...
Basics
Cluster name: rabbit@rabbitmq1
Disk Nodes
rabbit@rabbitmq1
Running Nodes
rabbit@rabbitmq1
Versions
rabbit@rabbitmq1: RabbitMQ 3.8.8 on Erlang 23.1
Maintenance status
Node: rabbit@rabbitmq1, status: not under maintenance
Alarms
(none)
Network Partitions
(none)
Listeners
Node: rabbit@rabbitmq1, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@rabbitmq1, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@rabbitmq1, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Feature flags
Flag: drop_unroutable_metric, state: disabled
Flag: empty_basic_get_metric, state: disabled
Flag: implicit_default_bindings, state: enabled
Flag: maintenance_mode_status, state: enabled
Flag: quorum_queue, state: enabled
Flag: virtual_host_metadata, state: enabled

# 在 rabbitmq2 操作退出群集
# 1. 进行 rabbitmq2 上的服务
[root@rabbitmq2 ~]# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq2 ...
# 2. 进行 rabbitmq2 上的服务
[root@rabbitmq2 ~]# rabbitmqctl reset
Resetting node rabbit@rabbitmq2 ...
# 2. 将 rabbitmq2 退出集群，--ram 是以内存形式退出
[root@rabbitmq2 ~]# rabbitmqctl join_cluster --ram rabbit@rabbitmq1
Clustering node rabbit@rabbitmq2 with rabbit@rabbitmq1
# 3. 启动 rabbitmq2 上的服务
[root@rabbitmq2 ~]# rabbitmqctl  start_app
Starting node rabbit@rabbitmq2 ...
# rabbitmq3 以同样的形式退出即可

验证：

# 查看群集状态
[root@rabbitmq1 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@rabbitmq1 ...
Basics
Cluster name: rabbit@rabbitmq1
Disk Nodes
rabbit@rabbitmq1
RAM Nodes
rabbit@rabbitmq2
rabbit@rabbitmq3
Running Nodes
rabbit@rabbitmq1
rabbit@rabbitmq2
rabbit@rabbitmq3
Versions
rabbit@rabbitmq1: RabbitMQ 3.8.9 on Erlang 21.3.8.18
rabbit@rabbitmq2: RabbitMQ 3.8.9 on Erlang 21.3.8.18
rabbit@rabbitmq3: RabbitMQ 3.8.9 on Erlang 21.3.8.18
Maintenance status
Node: rabbit@rabbitmq1, status: not under maintenance
Node: rabbit@rabbitmq2, status: not under maintenance
Node: rabbit@rabbitmq3, status: not under maintenance
Alarms
(none)
Network Partitions
(none)
Listeners
Node: rabbit@rabbitmq1, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@rabbitmq1, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@rabbitmq1, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@rabbitmq2, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@rabbitmq2, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@rabbitmq2, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@rabbitmq3, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@rabbitmq3, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@rabbitmq3, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0

在咱们应用 rabbitmq 作为音讯服务时，在服务负载不是很大的状况下，个别咱们只须要一个 rabbitmq 节点便能为咱们提供服务，可这难免会产生单点故障，要解决这个问题，咱们便须要配置 rabbitmq 的集群和镜像。

镜像模式参数

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition [Priority]
 
-p Vhost：可选参数，针对指定 vhost 下的 queue 进行设置
Name:       policy 的名称
Pattern:    exchanges 或 queue 的匹配模式(正则表达式)
Definition：镜像定义，包含三个局部 ha-mode, ha-params, ha-sync-mode
    ha-mode: 指明镜像队列的模式，有效值为 all/exactly/nodes
        all：示意在集群中所有的节点上进行镜像
        exactly：示意在指定个数的节点上进行镜像，节点的个数由 ha-params 指定
        nodes：示意在指定的节点上进行镜像，节点名称通过 ha-params 指定
    ha-params：ha-mode 模式须要用到的参数
    ha-sync-mode：进行队列中音讯的同步形式，有效值为 automatic 和 manual。automatic: 新减少节点主动同步全量数据。manual: 新增节点只同步新增数据，全量数据须要手工同步。Priority：可选参数，policy 的优先级

设置示例

# 所有队列 exchangess 或者 queue 都为镜像模式
[root@rabbitmq1 ~]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...

# 对队列名称以“queue_”结尾的所有队列进行镜像，并在集群的两个节点上实现进行，policy 的设置命令为：[root@rabbitmq1 ~]# rabbitmqctl set_policy --priority 0 --apply-to queues mirror_queue "^queue_" '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

关于rabbitmq:RabbitMQ集群镜像模式搭建

RabbitMQ 集群 - 镜像模式搭建

简介

单机模式

高可用模式

主备模式

近程模式

多活模式

集群模式

一般集群

镜像集群

环境筹备

软件介质

主机资源

hosts 设置

根底搭建

1. erlang 装置

2. rabbitmq 装置

创立集群

1. 配置集群根底环境

2. 将节点退出集群中

3. 将集群设为镜像模式

镜像模式参数

设置示例