关于java:千亿级数据平滑扩容之数据库双主同步与高可用实现

1. 扩容之前的部署架构

为便于测试， 这里假如有两台数据库节点Server1和Server2。

2. MariaDB服务装置

1. 切换阿里云镜像服务（YUM装置过慢能够切换）

   yum -y install wgetmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bakwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repowget -P /etc/yum.repos.d/ http://mirrors.aliyun.com/repo/epel-7.repoyum clean allyum makecache

2. 配置YUM源

   vi /etc/yum.repos.d/mariadb-10.2.repo 

   减少以下内容：

   [mariadb]name = MariaDBbaseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDBgpgcheck=1

3. 执行装置

   yum -y install mariadb mariadb-server MariaDB-client  MariaDB-common

4. 如果之前曾经装置， 须要先删除（如果之前没有装置， 能够疏忽此步骤）

   • 进行Mariadb服务

     [root@localhost yum.repos.d]# ps -ef | grep mysqlroot       1954      1  0 Oct04 ?        00:05:43 /usr/sbin/mysqld --wsrep-new-cluster --user=rootroot      89521  81403  0 07:40 pts/0    00:00:00 grep --color=auto mysql[root@localhost yum.repos.d]# kill 1954

   • 卸载Mariadb服务

     yum -y remove Maria*

   • 删除数据与配置：

     rm -rf /var/lib/mysql/*rm -rf /etc/my.cnf.d/rm -rf /etc/my.cnf

5. 初始化配置

   systemctl  start mariadbmysql_secure_installation

6. 开启用户近程连贯权限

   将连贯用户root开启近程连贯权限；

   mysql -uroot -p654321

   进入MySQL服务， 执行以下操作：

   use mysql;delete from user;GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '654321' WITH GRANT OPTION;FLUSH PRIVILEGES;

3. MariaDB双主同步

1. 在Server1减少配置：

   在/etc/my.cnf中增加以下配置：

   [mysqld]server-id  = 1log-bin=mysql-binrelay-log = mysql-relay-binreplicate-wild-ignore-table=mysql.%replicate-wild-ignore-table=information_schema.%log-slave-updates=onslave-skip-errors=allauto-increment-offset=1auto-increment-increment=2binlog_format=mixedexpire_logs_days=10

   留神， Server1自增为奇数位：

   auto-increment-offset=1 主键自增基数, 从1开始。

   auto-increment-increment=2 主键自增偏移量，每次为2。

2. 在Server2减少配置：

   批改/etc/my.cnf:

   [mysqld]server-id = 2log-bin=mysql-binrelay-log = mysql-relay-binreplicate-wild-ignore-table=mysql.%replicate-wild-ignore-table=information_schema.%log-slave-updates=onslave-skip-errors=allauto-increment-offset=2auto-increment-increment=2binlog_format=mixedexpire_logs_days=10

   Server2自增为偶数位：

   auto-increment-offset=2 主键自增基数, 从2开始。

   auto-increment-increment=2 主键自增偏移量，每次为2。

   配置批改实现后， 重启数据库。

3. 同步受权配置

   在Server1创立replica用于主从同步的用户：

   MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';mysql> flush privileges;

   查问日志文件与偏移量，开启同步时需应用：

   MariaDB [(none)]> show master status;+------------------+----------+--------------+------------------+| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |+------------------+----------+--------------+------------------+| mysql-bin.000001 |      663 |              |                  |+------------------+----------+--------------+------------------+

   同样， 在Server2创立replica用于主从同步的用户：

   MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';mysql> flush privileges;

   查问日志文件与偏移量：

   MariaDB [(none)]> show master status;+------------------+----------+--------------+------------------+| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |+------------------+----------+--------------+------------------+| mysql-bin.000001 |      663 |              |                  |+------------------+----------+--------------+------------------+

4. 配置主从同步信息

   在Server1中执行：

   MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;

   在Server2中执行：

   MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=663, master_connect_retry=30;

5. 开启双主同步

   在Server1和Server2中别离执行：

   MariaDB [(none)]> start slave;Query OK, 0 rows affected (0.00 sec)

   在Server1查问同步信息：

   MariaDB [(none)]>  show slave status\G;*************************** 1. row ***************************               Slave_IO_State: Waiting for master to send event                  Master_Host: 10.10.20.126                  Master_User: replica                  Master_Port: 3306                Connect_Retry: 30              Master_Log_File: mysql-bin.000001          Read_Master_Log_Pos: 663               Relay_Log_File: mysql-relay-bin.000002                Relay_Log_Pos: 555        Relay_Master_Log_File: mysql-bin.000001             Slave_IO_Running: Yes            Slave_SQL_Running: Yes...

   在Server2查问同步信息：

   MariaDB [(none)]>  show slave status\G;*************************** 1. row ***************************               Slave_IO_State: Waiting for master to send event                  Master_Host: 10.10.20.125                  Master_User: replica                  Master_Port: 3306                Connect_Retry: 30              Master_Log_File: mysql-bin.000001          Read_Master_Log_Pos: 663               Relay_Log_File: mysql-relay-bin.000002                Relay_Log_Pos: 555        Relay_Master_Log_File: mysql-bin.000001             Slave_IO_Running: Yes            Slave_SQL_Running: Yes...

   Slave_IO_Running和Slave_SQL_Running 都是Yes，阐明双主同步配置胜利。

4. KeepAlived装置与高可用配置

1. 在Server1与Server2两台节点装置keepalived：

   yum -y install keepalived

2. 敞开防火墙

   systemctl stop firewalldsystemctl disable firewalld

3. 设置主机名称：

   Server1节点：

   hostnamectl set-hostname vip1

   Server2节点：

   hostnamectl set-hostname vip2

4. Server1节点配置

   /etc/keepalived/keepalived.conf：

   global_defs {   router_id vip1           # 机器标识，和主机名保持一致}vrrp_instance VI_1 {            #vrrp实例定义    state BACKUP               #lvs的状态模式，MASTER代表主， BACKUP代表备份节点    interface ens33               #绑定对外拜访的网卡    virtual_router_id 111        #虚构路由标示，同一个vrrp实例采纳惟一标示    priority 100               #优先级，100代表最大优先级， 数字越大优先级越高    advert_int 1              #master与backup节点同步查看的工夫距离，单位是秒    authentication {           #设置验证信息        auth_type PASS         #有PASS和AH两种        auth_pass 6666         #验证明码，BACKUP明码须雷同    }    virtual_ipaddress {         #KeepAlived虚构的IP地址        10.10.20.130    }}virtual_server 10.10.20.130 3306 {       #配置虚构服务器IP与拜访端口    delay_loop 6                 #健康检查工夫    lb_algo rr                  #负载平衡调度算法， rr代表轮询    lb_kind DR                   #负载平衡转发规定    persistence_timeout 0        #会话放弃工夫，这里要做测试， 所以设为0， 理论可依据session无效工夫配置    protocol TCP               #转发协定类型，反对TCP和UDP    real_server 10.10.20.125 3306 {    #配置服务器节点VIP1        notify_down /usr/local/shell/mariadb.sh #当服务挂掉时， 会执行此脚本，完结keepalived过程    weight 1               #设置权重，越大权重越高    TCP_CHECK {              #r状态监测设置       connect_timeout 10       #超时配置， 单位秒       retry 3             #重试次数       delay_before_retry 3        #重试距离       connect_port 3306         #连贯端口， 和下面保持一致       }    }}

   创立敞开脚本mariadb.sh

   /usr/local/shell/mariadb.sh：

   pkill keepalived

   退出执行权限：

   chmod a+x mariadb.sh

5. Server2节点配置：

   global_defs {   router_id vip2           # 机器标识，和主机名保持一致}vrrp_instance VI_1 {            #vrrp实例定义    state BACKUP               #lvs的状态模式，MASTER代表主， BACKUP代表备份节点    interface ens33               #绑定对外拜访的网卡    virtual_router_id 111        #虚构路由标示，同一个vrrp实例采纳惟一标示    priority 98               #优先级，100代表最大优先级， 数字越大优先级越高    advert_int 1              #master与backup节点同步查看的工夫距离，单位是秒    authentication {           #设置验证信息        auth_type PASS         #有PASS和AH两种        auth_pass 6666         #验证明码，BACKUP明码须雷同    }    virtual_ipaddress {         #KeepAlived虚构的IP地址        10.10.20.130    }}virtual_server 10.10.20.130 3306 {       #配置虚构服务器IP与拜访端口    delay_loop 6                 #健康检查工夫    lb_algo rr                  #负载平衡调度算法， rr代表轮询, 能够敞开    lb_kind DR                   #负载平衡转发规定, 能够敞开    persistence_timeout 0        #会话放弃工夫，这里要做测试， 所以设为0， 理论可依据session无效工夫配置    protocol TCP               #转发协定类型，反对TCP和UDP    real_server 10.10.20.126 3306{    #配置服务器节点VIP2    notify_down /usr/local/shell/mariadb.sh #当服务挂掉时， 会执行此脚本，完结keepalived过程    weight 1               #设置权重，越大权重越高    TCP_CHECK {              #r状态监测设置       connect_timeout 10       #超时配置， 单位秒       retry 3             #重试次数       delay_before_retry 3        #重试距离       connect_port 3306         #连贯端口， 和下面保持一致       }    }}

   和Server1的差别项：

   router_id vip2   # 机器标识，和主机名保持一致priority 98               #优先级，100代表最大优先级， 数字越大优先级越高real_server 10.10.20.126 3306  #配置服务器节点VIP2

   留神， 两台节点都设为BACKUP

   virtual_router_id 111        #同一个vrrp实例采纳惟一标示state BACKUP

   如果不想重启后， 抢夺备用节点的VIP， 能够设置此项

   nopreempt #不被动抢占资源

6. 验证高可用

   进行主节点MariaDB服务， 验证是否可能实现主动切换。

• • *

本文由mirson创作分享，如需进一步交换，请加QQ群：19310171或拜访www.softart.cn