关于java:千亿级数据平滑扩容之数据库双主同步与高可用实现

2次阅读

共计 6586 个字符,预计需要花费 17 分钟才能阅读完成。

1. 扩容之前的部署架构

为便于测试,这里假如有两台数据库节点 Server1 和 Server2。

2. MariaDB 服务装置

  1. 切换阿里云镜像服务(YUM 装置过慢能够切换)

    yum -y install wget
    mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    wget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repo
    yum clean all
    yum makecache
  2. 配置 YUM 源

    vi /etc/yum.repos.d/mariadb-10.2.repo 

    减少以下内容:

    [mariadb]
    name = MariaDB
    baseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64
    gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
    gpgcheck=1
  3. 执行装置

    yum -y install mariadb mariadb-server MariaDB-client  MariaDB-common
  4. 如果之前曾经装置,须要先删除(如果之前没有装置,能够疏忽此步骤)

    • 进行 Mariadb 服务

      [root@localhost yum.repos.d]# ps -ef | grep mysql
      root       1954      1  0 Oct04 ?        00:05:43 /usr/sbin/mysqld --wsrep-new-cluster --user=root
      root      89521  81403  0 07:40 pts/0    00:00:00 grep --color=auto mysql
      [root@localhost yum.repos.d]# kill 1954
    • 卸载 Mariadb 服务

      yum -y remove Maria*
    • 删除数据与配置:

      rm -rf /var/lib/mysql/*
      rm -rf /etc/my.cnf.d/
      rm -rf /etc/my.cnf
  5. 初始化配置

    systemctl  start mariadb
    mysql_secure_installation
  6. 开启用户近程连贯权限

    将连贯用户 root 开启近程连贯权限;

    mysql -uroot -p654321

    进入 MySQL 服务,执行以下操作:

    use mysql;
    delete from user;
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '654321' WITH GRANT OPTION;
    FLUSH PRIVILEGES;

3. MariaDB 双主同步

  1. 在 Server1 减少配置:

    在 /etc/my.cnf 中增加以下配置:

    [mysqld]
    server-id  = 1
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=1
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10

    留神,Server1 自增为奇数位:

    auto-increment-offset=1 主键自增基数, 从 1 开始。

    auto-increment-increment=2 主键自增偏移量,每次为 2。

  2. 在 Server2 减少配置:

    批改 /etc/my.cnf:

    [mysqld]
    server-id = 2
    log-bin=mysql-bin
    relay-log = mysql-relay-bin
    replicate-wild-ignore-table=mysql.%
    replicate-wild-ignore-table=information_schema.%
    log-slave-updates=on
    slave-skip-errors=all
    auto-increment-offset=2
    auto-increment-increment=2
    binlog_format=mixed
    expire_logs_days=10
    

    Server2 自增为偶数位:

    auto-increment-offset=2 主键自增基数, 从 2 开始。

    auto-increment-increment=2 主键自增偏移量,每次为 2。

    配置批改实现后,重启数据库。

  3. 同步受权配置

    在 Server1 创立 replica 用于主从同步的用户:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    查问日志文件与偏移量,开启同步时需应用:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |      663 |              |                  |
    +------------------+----------+--------------+------------------+
    

    同样,在 Server2 创立 replica 用于主从同步的用户:

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
    mysql> flush privileges;

    查问日志文件与偏移量:

    MariaDB [(none)]> show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 |      663 |              |                  |
    +------------------+----------+--------------+------------------+
  4. 配置主从同步信息

    在 Server1 中执行:

    MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;
    

    在 Server2 中执行:

    MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;
    
  5. 开启双主同步

    在 Server1 和 Server2 中别离执行:

    MariaDB [(none)]> start slave;
    Query OK, 0 rows affected (0.00 sec)

    在 Server1 查问同步信息:

    MariaDB [(none)]>  show slave status\G;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.126
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000001
              Read_Master_Log_Pos: 663
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 555
            Relay_Master_Log_File: mysql-bin.000001
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    ...

    在 Server2 查问同步信息:

    MariaDB [(none)]>  show slave status\G;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 10.10.20.125
                      Master_User: replica
                      Master_Port: 3306
                    Connect_Retry: 30
                  Master_Log_File: mysql-bin.000001
              Read_Master_Log_Pos: 663
                   Relay_Log_File: mysql-relay-bin.000002
                    Relay_Log_Pos: 555
            Relay_Master_Log_File: mysql-bin.000001
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes
    ...

    Slave_IO_Running 和 Slave_SQL_Running 都是 Yes,阐明双主同步配置胜利。

4. KeepAlived 装置与高可用配置

  1. 在 Server1 与 Server2 两台节点装置 keepalived:

    yum -y install keepalived
  2. 敞开防火墙

    systemctl stop firewalld
    systemctl disable firewalld
  3. 设置主机名称:

    Server1 节点:

    hostnamectl set-hostname vip1

    Server2 节点:

    hostnamectl set-hostname vip2
  4. Server1 节点配置

    /etc/keepalived/keepalived.conf:

    global_defs {router_id vip1           # 机器标识,和主机名保持一致}
    vrrp_instance VI_1 {            #vrrp 实例定义
        state BACKUP               #lvs 的状态模式,MASTER 代表主,BACKUP 代表备份节点
        interface ens33               #绑定对外拜访的网卡
        virtual_router_id 111        #虚构路由标示,同一个 vrrp 实例采纳惟一标示
        priority 100               #优先级,100 代表最大优先级,数字越大优先级越高
        advert_int 1              #master 与 backup 节点同步查看的工夫距离,单位是秒
        authentication {           #设置验证信息
            auth_type PASS         #有 PASS 和 AH 两种
            auth_pass 6666         #验证明码,BACKUP 明码须雷同
        }
        virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
            10.10.20.130
        }
    }
    virtual_server 10.10.20.130 3306 {       #配置虚构服务器 IP 与拜访端口
        delay_loop 6                 #健康检查工夫
        lb_algo rr                  #负载平衡调度算法,rr 代表轮询
        lb_kind DR                   #负载平衡转发规定
        persistence_timeout 0        #会话放弃工夫,这里要做测试,所以设为 0,理论可依据 session 无效工夫配置
        protocol TCP               #转发协定类型,反对 TCP 和 UDP
        real_server 10.10.20.125 3306 {    #配置服务器节点 VIP1    
        notify_down /usr/local/shell/mariadb.sh #当服务挂掉时,会执行此脚本,完结 keepalived 过程
        weight 1               #设置权重,越大权重越高
        TCP_CHECK {              #r 状态监测设置
           connect_timeout 10       #超时配置,单位秒
           retry 3             #重试次数
           delay_before_retry 3        #重试距离
           connect_port 3306         #连贯端口,和下面保持一致
           }
        }
    
    }
    

    创立敞开脚本 mariadb.sh

    /usr/local/shell/mariadb.sh:

    pkill keepalived

    退出执行权限:

    chmod a+x mariadb.sh
  5. Server2 节点配置:

    global_defs {router_id vip2           # 机器标识,和主机名保持一致}
    vrrp_instance VI_1 {            #vrrp 实例定义
        state BACKUP               #lvs 的状态模式,MASTER 代表主,BACKUP 代表备份节点
        interface ens33               #绑定对外拜访的网卡
        virtual_router_id 111        #虚构路由标示,同一个 vrrp 实例采纳惟一标示
        priority 98               #优先级,100 代表最大优先级,数字越大优先级越高
        advert_int 1              #master 与 backup 节点同步查看的工夫距离,单位是秒
        authentication {           #设置验证信息
            auth_type PASS         #有 PASS 和 AH 两种
            auth_pass 6666         #验证明码,BACKUP 明码须雷同
        }
        virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
            10.10.20.130
        }
    }
    virtual_server 10.10.20.130 3306 {       #配置虚构服务器 IP 与拜访端口
        delay_loop 6                 #健康检查工夫
        lb_algo rr                  #负载平衡调度算法,rr 代表轮询, 能够敞开
        lb_kind DR                   #负载平衡转发规定, 能够敞开
        persistence_timeout 0        #会话放弃工夫,这里要做测试,所以设为 0,理论可依据 session 无效工夫配置
        protocol TCP               #转发协定类型,反对 TCP 和 UDP
        real_server 10.10.20.126 3306{    #配置服务器节点 VIP2
        notify_down /usr/local/shell/mariadb.sh #当服务挂掉时,会执行此脚本,完结 keepalived 过程
        weight 1               #设置权重,越大权重越高
        TCP_CHECK {              #r 状态监测设置
           connect_timeout 10       #超时配置,单位秒
           retry 3             #重试次数
           delay_before_retry 3        #重试距离
           connect_port 3306         #连贯端口,和下面保持一致
           }
        }
    
    }
    

    和 Server1 的差别项:

    router_id vip2   # 机器标识,和主机名保持一致
    priority 98               #优先级,100 代表最大优先级,数字越大优先级越高
    real_server 10.10.20.126 3306  #配置服务器节点 VIP2

    留神,两台节点都设为 BACKUP

    virtual_router_id 111        #同一个 vrrp 实例采纳惟一标示
    state BACKUP

    如果不想重启后,抢夺备用节点的 VIP,能够设置此项

    nopreempt #不被动抢占资源 
  6. 验证高可用

    进行主节点 MariaDB 服务,验证是否可能实现主动切换。

    • *

本文由 mirson 创作分享,如需进一步交换,请加 QQ 群:19310171 或拜访 www.softart.cn

正文完
 0