乐趣区

关于java:千亿级数据平滑扩容之数据库双主同步与高可用实现

jiezi

1. 扩容之前的部署架构

为便于测试，这里假如有两台数据库节点 Server1 和 Server2。

2. MariaDB 服务装置

  1. 切换阿里云镜像服务（YUM 装置过慢能够切换）

    yum -y install wget
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo
yum clean all
yum makecache

  2. 配置 YUM 源 

    vi /etc/yum.repos.d/mariadb-10.2.repo

    减少以下内容：

    [mariadb]
name = MariaDB
baseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1

  3. 执行装置 

    yum -y install mariadb mariadb-server MariaDB-client  MariaDB-common

  4. 如果之前曾经装置，须要先删除（如果之前没有装置，能够疏忽此步骤）

    • 进行 Mariadb 服务 

      [root@localhost yum.repos.d]# ps -ef | grep mysql
root       1954      1  0 Oct04 ?        00:05:43 /usr/sbin/mysqld --wsrep-new-cluster --user=root
root      89521  81403  0 07:40 pts/0    00:00:00 grep --color=auto mysql
[root@localhost yum.repos.d]# kill 1954

    • 卸载 Mariadb 服务 

      yum -y remove Maria*

    • 删除数据与配置：

      rm -rf /var/lib/mysql/*
rm -rf /etc/my.cnf.d/
rm -rf /etc/my.cnf

  5. 初始化配置 

    systemctl  start mariadb
mysql_secure_installation

  6. 开启用户近程连贯权限

    将连贯用户 root 开启近程连贯权限；

    mysql -uroot -p654321

    进入 MySQL 服务，执行以下操作：

    use mysql;
delete from user;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '654321' WITH GRANT OPTION;
FLUSH PRIVILEGES;

3. MariaDB 双主同步

  1. 在 Server1 减少配置：

    在 /etc/my.cnf 中增加以下配置：

    [mysqld]
server-id  = 1
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=1
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    留神，Server1 自增为奇数位：

    auto-increment-offset=1 主键自增基数, 从 1 开始。

    auto-increment-increment=2 主键自增偏移量，每次为 2。

  2. 在 Server2 减少配置：

    批改 /etc/my.cnf:

    [mysqld]
server-id = 2
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    Server2 自增为偶数位：

    auto-increment-offset=2 主键自增基数, 从 2 开始。

    auto-increment-increment=2 主键自增偏移量，每次为 2。

    配置批改实现后，重启数据库。

  3. 同步受权配置

    在 Server1 创立 replica 用于主从同步的用户：

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
mysql> flush privileges;

    查问日志文件与偏移量，开启同步时需应用：

    MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      663 |              |                  |
+------------------+----------+--------------+------------------+

    同样，在 Server2 创立 replica 用于主从同步的用户：

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
mysql> flush privileges;

    查问日志文件与偏移量：

    MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |      663 |              |                  |
+------------------+----------+--------------+------------------+

  4. 配置主从同步信息

    在 Server1 中执行：

    MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;

    在 Server2 中执行：

    MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;

  5. 开启双主同步

    在 Server1 和 Server2 中别离执行：

    MariaDB [(none)]> start slave;
Query OK, 0 rows affected (0.00 sec)

    在 Server1 查问同步信息：

    MariaDB [(none)]>  show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.20.126
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 663
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 555
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
...

    在 Server2 查问同步信息：

    MariaDB [(none)]>  show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.20.125
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 663
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 555
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
...

    Slave_IO_Running 和 Slave_SQL_Running 都是 Yes，阐明双主同步配置胜利。

4. KeepAlived 装置与高可用配置

  1. 在 Server1 与 Server2 两台节点装置 keepalived：

    yum -y install keepalived

  2. 敞开防火墙 

    systemctl stop firewalld
systemctl disable firewalld

  3. 设置主机名称：

    Server1 节点：

    hostnamectl set-hostname vip1

    Server2 节点：

    hostnamectl set-hostname vip2

  4. Server1 节点配置

    /etc/keepalived/keepalived.conf：

    global_defs {router_id vip1           # 机器标识，和主机名保持一致}
vrrp_instance VI_1 {            #vrrp 实例定义
    state BACKUP               #lvs 的状态模式，MASTER 代表主，BACKUP 代表备份节点
    interface ens33               #绑定对外拜访的网卡
    virtual_router_id 111        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
    priority 100               #优先级，100 代表最大优先级，数字越大优先级越高
    advert_int 1              #master 与 backup 节点同步查看的工夫距离，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有 PASS 和 AH 两种
        auth_pass 6666         #验证明码，BACKUP 明码须雷同
    }
    virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
        10.10.20.130
    }
}
virtual_server 10.10.20.130 3306 {       #配置虚构服务器 IP 与拜访端口
    delay_loop 6                 #健康检查工夫
    lb_algo rr                  #负载平衡调度算法，rr 代表轮询
    lb_kind DR                   #负载平衡转发规定
    persistence_timeout 0        #会话放弃工夫，这里要做测试，所以设为 0，理论可依据 session 无效工夫配置
    protocol TCP               #转发协定类型，反对 TCP 和 UDP
    real_server 10.10.20.125 3306 {    #配置服务器节点 VIP1    
    notify_down /usr/local/shell/mariadb.sh #当服务挂掉时，会执行此脚本，完结 keepalived 过程
    weight 1               #设置权重，越大权重越高
    TCP_CHECK {              #r 状态监测设置
       connect_timeout 10       #超时配置，单位秒
       retry 3             #重试次数
       delay_before_retry 3        #重试距离
       connect_port 3306         #连贯端口，和下面保持一致
       }
    }

}

    创立敞开脚本 mariadb.sh

    /usr/local/shell/mariadb.sh：

    pkill keepalived

    退出执行权限：

    chmod a+x mariadb.sh

  5. Server2 节点配置：

    global_defs {router_id vip2           # 机器标识，和主机名保持一致}
vrrp_instance VI_1 {            #vrrp 实例定义
    state BACKUP               #lvs 的状态模式，MASTER 代表主，BACKUP 代表备份节点
    interface ens33               #绑定对外拜访的网卡
    virtual_router_id 111        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
    priority 98               #优先级，100 代表最大优先级，数字越大优先级越高
    advert_int 1              #master 与 backup 节点同步查看的工夫距离，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有 PASS 和 AH 两种
        auth_pass 6666         #验证明码，BACKUP 明码须雷同
    }
    virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
        10.10.20.130
    }
}
virtual_server 10.10.20.130 3306 {       #配置虚构服务器 IP 与拜访端口
    delay_loop 6                 #健康检查工夫
    lb_algo rr                  #负载平衡调度算法，rr 代表轮询, 能够敞开
    lb_kind DR                   #负载平衡转发规定, 能够敞开
    persistence_timeout 0        #会话放弃工夫，这里要做测试，所以设为 0，理论可依据 session 无效工夫配置
    protocol TCP               #转发协定类型，反对 TCP 和 UDP
    real_server 10.10.20.126 3306{    #配置服务器节点 VIP2
    notify_down /usr/local/shell/mariadb.sh #当服务挂掉时，会执行此脚本，完结 keepalived 过程
    weight 1               #设置权重，越大权重越高
    TCP_CHECK {              #r 状态监测设置
       connect_timeout 10       #超时配置，单位秒
       retry 3             #重试次数
       delay_before_retry 3        #重试距离
       connect_port 3306         #连贯端口，和下面保持一致
       }
    }

}

    和 Server1 的差别项：

    router_id vip2   # 机器标识，和主机名保持一致
priority 98               #优先级，100 代表最大优先级，数字越大优先级越高
real_server 10.10.20.126 3306  #配置服务器节点 VIP2

    留神，两台节点都设为 BACKUP

    virtual_router_id 111        #同一个 vrrp 实例采纳惟一标示
state BACKUP

    如果不想重启后，抢夺备用节点的 VIP，能够设置此项 

    nopreempt #不被动抢占资源
  6. 验证高可用

    进行主节点 MariaDB 服务，验证是否可能实现主动切换。

    • *

本文由 mirson 创作分享，如需进一步交换，请加 QQ 群：19310171 或拜访 www.softart.cn

退出移动版