关于java:千亿级数据平滑扩容之数据库平滑扩容实现

44次阅读

共计 9281 个字符，预计需要花费 24 分钟才能阅读完成。

1. 扩容后的部署架构

由之前的双主两台节点，裁减为两对双主，共四个节点：

2. 新增数据库 VIP

  1. 在 Server2 节点上减少虚构 IP 配置：

    批改 /etc/keepalived/keepalived.conf，追加：

    ...
vrrp_instance VI_2 {            #vrrp 实例定义
    state BACKUP               #lvs 的状态模式，MASTER 代表主，BACKUP 代表备份节点
    interface ens33               #绑定对外拜访的网卡
    virtual_router_id 112        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
    priority 100               #优先级，100 代表最大优先级，数字越大优先级越高
    advert_int 1              #master 与 backup 节点同步查看的工夫距离，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有 PASS 和 AH 两种
        auth_pass 6666         #验证明码，BACKUP 明码须雷同
    }
    virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
        10.10.20.131
    }
}
virtual_server 10.10.20.131 3306 {       #配置虚构服务器 IP 与拜访端口
    delay_loop 6                 #健康检查工夫
    persistence_timeout 0        #会话放弃工夫，这里要做测试，所以设为 0，理论可依据 session 无效工夫配置
    protocol TCP               #转发协定类型，反对 TCP 和 UDP
    real_server 10.10.20.126 3306{    #配置服务器节点 VIP1
    notify_down /usr/local/shell/mariadb.sh
    weight 1               #设置权重，越大权重越高
    TCP_CHECK {              #r 状态监测设置
       connect_timeout 10       #超时配置，单位秒
       retry 3             #重试次数
       delay_before_retry 3        #重试距离
       connect_port 3306         #连贯端口，和下面保持一致
       }
    }

}

    留神配置项：

    virtual_router_id 112        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
priority 100               #优先级，100 代表最大优先级，数字越大优先级越高

3. 应用服务减少动静数据源

  1. 批改应用服务配置，减少新的数据源，指向新设置的 VIP：10.10.20.131

    之前是实现了应用服务的动静扩容，在配置文件里批改：

    driverClassName=com.mysql.cj.jdbc.Driver
username=root
password=654321
url=jdbc:mysql://10.10.20.131:3306/smooth?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=UTC
initialSize=5
minIdle=5
maxActive=20
maxWait=60000
timeBetweenEvictionRunsMillis=60000
minEvictableIdleTimeMillis=300000
validationQuery=SELECT 1
testWhileIdle=true
testOnBorrow=false
testOnReturn=false
  2. 通过应用服务接口，动静扩容调整

    通过动静调整接口，让扩容的第 2 个数据源失效。

4. 解除原双主同步关系

  1. 进入 Server1:

    MariaDB [(none)]> stop slave;

  2. 进入 Server2:

    MariaDB [(none)]> stop slave;
  3. 能够通过应用服务接口验证数据是否解除同步胜利

5. 装置 MariaDB 扩容服务器

  1. 新建两台虚拟机，别离对应下面部署架构图中的 Server3 和 Server4。

  2. 在 Server3 和 Server4 两台节点上装置 MariaDB 服务

    可参考上一个篇章中的 MariaDB 服务装置教程。

  3. 配置 Server3 与 Server1，实现新的双主同步

    1) Server3 节点，批改 /etc/my.cnf:

    [mysqld]
server-id = 2
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    2) 重启 Server3 数据库 

    service mariadb restart

    3) 创立 replica 用于主从同步的用户：

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
mysql> flush privileges;

    4) 在 Server1 节点，进行数据全量备份：

    mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 --databases smooth > server1.sql

    5) 查看并记录 master status 信息：

    ...
--
-- Position to start replication or point-in-time recovery from
--

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=17748;
...

    6) 将备份的 server1.sql 通过 scp 命令拷贝至 Server3 节点。

    scp server1.sql root@10.10.20.127:/usr/local/

    7) 将数据还原至 Server3 节点：

    mysql -uroot -p654321 < /usr/local/server1.sql

    8) 配置主从同步信息

    依据下面的 master status 信息，在 Server3 中执行：

    MariaDB [(none)]> change master to master_host='10.10.20.125',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000002', master_log_pos=17748, master_connect_retry=30;
Query OK, 0 rows affected (0.01 sec)

    9) 开启主从同步：

    MariaDB [(none)]> start slave;
Query OK, 0 rows affected (0.00 sec)

    如果呈现问题，还原主从同步信息：

    MariaDB [(none)]> reset slave;
Query OK, 0 rows affected (0.01 sec)

    10) 查看同步状态信息：

    MariaDB [(none)]> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.20.125
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 11174
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 1746
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

    11) 配置 Server1 与 Server3 节点的同步

    查看 Server3 的日志信息：

    MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |     4781 |              |                  |
+------------------+----------+--------------+------------------+

    在 Server1 节点，配置同步信息：

    MariaDB [(none)]> reset slave;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> change master to master_host='10.10.20.127',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=4781, master_connect_retry=30;

MariaDB [(none)]> start slave;
Query OK, 0 rows affected (0.00 sec)

  4. 配置新的 Server4 与 Server2 的双主同步关系

    1) Server4 节点，批改 /etc/my.cnf:

    [mysqld]
server-id = 3
log-bin=mysql-bin
relay-log = mysql-relay-bin
replicate-wild-ignore-table=mysql.%
replicate-wild-ignore-table=information_schema.%
log-slave-updates=on
slave-skip-errors=all
auto-increment-offset=2
auto-increment-increment=2
binlog_format=mixed
expire_logs_days=10

    2) 重启 Server4 数据库 

    service mariadb restart

    3) 创立 replica 用于主从同步的用户：

    MariaDB [(none)]> grant replication slave, replication client on *.* to 'replica'@'%' identified by 'replica';
mysql> flush privileges;

    4) 在 Server2 节点，进行数据全量备份：

    mysqldump -uroot -p654321 --routines --single_transaction --master-data=2 --databases smooth > server2.sql

    5) 查看并记录 master status 信息：

    ...
--
-- Position to start replication or point-in-time recovery from
--

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=4208;

...

    6) 将备份的 server2.sql 通过 scp 命令拷贝至 Server4 节点。

    scp server2.sql root@10.10.20.128:/usr/local/

    7) 将数据还原至 Server4 节点：

    mysql -uroot -p654321 < /usr/local/server2.sql

    8) 配置主从同步信息

    依据下面的 master status 信息，在 Server4 中执行：

    MariaDB [(none)]> change master to master_host='10.10.20.126',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000003', master_log_pos=4208, master_connect_retry=30;
Query OK, 0 rows affected (0.01 sec)

    9) 开启主从同步：

    MariaDB [(none)]> start slave;
Query OK, 0 rows affected (0.00 sec)

    留神，如果呈现问题，还原主从同步信息：

    MariaDB [(none)]> reset slave;
Query OK, 0 rows affected (0.01 sec)

    10) 查看同步状态信息：

    MariaDB [(none)]> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.20.125
                  Master_User: replica
                  Master_Port: 3306
                Connect_Retry: 30
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 11174
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 1746
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

    11) 配置 Server2 与 Server4 节点的同步

    查看 Server4 的日志信息：

    MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |     3696 |              |                  |
+------------------+----------+--------------+------------------+

    在 Server2 节点，配置同步信息：

    MariaDB [(none)]> reset slave;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> change master to master_host='10.10.20.128',master_user='replica', master_password='replica', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos=3696, master_connect_retry=30;

MariaDB [(none)]> start slave;
Query OK, 0 rows affected (0.00 sec)

6. 减少 KeepAlived 服务实现高可用

  1. 确保新增的 Server3 和 Server4 节点装置 Keepalived 服务。

    KeepAlived 服务装置可参考之前的教程。

  2. 批改 Server3 节点配置 

    global_defs {router_id vip3          # 机器标识，个别设为 hostname，故障产生时，邮件告诉会应用到。}
vrrp_instance VI_1 {            #vrrp 实例定义
    state BACKUP               #lvs 的状态模式，MASTER 代表主，BACKUP 代表备份节点
    interface ens33               #绑定对外拜访的网卡
    virtual_router_id 111        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
    priority 98               #优先级，100 代表最大优先级，数字越大优先级越高
    advert_int 1              #master 与 backup 节点同步查看的工夫距离，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有 PASS 和 AH 两种
        auth_pass 6666         #验证明码，BACKUP 明码须雷同
    }
    virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
        10.10.20.130
    }
}
virtual_server 10.10.20.130 3306 {       #配置虚构服务器 IP 与拜访端口
    delay_loop 6                 #健康检查工夫
    persistence_timeout 0        #会话放弃工夫，这里要做测试，所以设为 0，理论可依据 session 无效工夫配置
    protocol TCP               #转发协定类型，反对 TCP 和 UDP
    real_server 10.10.20.127 3306{    #配置服务器节点 VIP3
    notify_down /usr/local/shell/mariadb.sh
    weight 1               #设置权重，越大权重越高
    TCP_CHECK {              #r 状态监测设置
       connect_timeout 10       #超时配置，单位秒
       retry 3             #重试次数
       delay_before_retry 3        #重试距离
       connect_port 3306         #连贯端口，和下面保持一致
       }
    }

}

    留神外面 IP 配置正确，批改实现后重启服务。

    创立敞开脚本 mariadb.sh

    /usr/local/shell/mariadb.sh：

    pkill keepalived

    退出执行权限：

    chmod a+x mariadb.sh

  3. 批改 Server4 节点配置 

    global_defs {router_id vip4          # 机器标识，个别设为 hostname，故障产生时，邮件告诉会应用到。}
vrrp_instance VI_1 {            #vrrp 实例定义
    state BACKUP               #lvs 的状态模式，MASTER 代表主，BACKUP 代表备份节点
    interface ens33               #绑定对外拜访的网卡
    virtual_router_id 112        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
    priority 98               #优先级，100 代表最大优先级，数字越大优先级越高
    advert_int 1              #master 与 backup 节点同步查看的工夫距离，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有 PASS 和 AH 两种
        auth_pass 6666         #验证明码，BACKUP 明码须雷同
    }
    virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
        10.10.20.131
    }
}
virtual_server 10.10.20.131 3306 {       #配置虚构服务器 IP 与拜访端口
    delay_loop 6                 #健康检查工夫
    persistence_timeout 0        #会话放弃工夫，这里要做测试，所以设为 0，理论可依据 session 无效工夫配置
    protocol TCP               #转发协定类型，反对 TCP 和 UDP
    real_server 10.10.20.128 3306{    #配置服务器节点 VIP4
    notify_down /usr/local/shell/mariadb.sh
    weight 1               #设置权重，越大权重越高
    TCP_CHECK {              #r 状态监测设置
       connect_timeout 10       #超时配置，单位秒
       retry 3             #重试次数
       delay_before_retry 3        #重试距离
       connect_port 3306         #连贯端口，和下面保持一致
       }
    }

}

    重启服务，创立敞开脚本 mariadb.sh
    /usr/local/shell/mariadb.sh：

    pkill keepalived

    退出执行权限：

    chmod a+x mariadb.sh

  4. 批改 Server2 节点的 keepAlived 配置:

    global_defs {router_id vip2          # 机器标识，个别设为 hostname，故障产生时，邮件告诉会应用到。}   
vrrp_instance VI_1 {            #vrrp 实例定义
    state BACKUP               #lvs 的状态模式，MASTER 代表主，BACKUP 代表备份节点
    interface ens33               #绑定对外拜访的网卡
    virtual_router_id 112        #虚构路由标示，同一个 vrrp 实例采纳惟一标示
    priority 100               #优先级，100 代表最大优先级，数字越大优先级越高
    advert_int 1              #master 与 backup 节点同步查看的工夫距离，单位是秒
    authentication {           #设置验证信息
        auth_type PASS         #有 PASS 和 AH 两种
        auth_pass 6666         #验证明码，BACKUP 明码须雷同
    }
    virtual_ipaddress {         #KeepAlived 虚构的 IP 地址
        10.10.20.131
    }
}
virtual_server 10.10.20.131 3306 {       #配置虚构服务器 IP 与拜访端口
    delay_loop 6                 #健康检查工夫
    persistence_timeout 0        #会话放弃工夫，这里要做测试，所以设为 0，理论可依据 session 无效工夫配置
    protocol TCP               #转发协定类型，反对 TCP 和 UDP
    real_server 10.10.20.126 3306{    #配置服务器节点 VIP1
    notify_down /usr/local/shell/mariadb.sh
    weight 1               #设置权重，越大权重越高
    TCP_CHECK {              #r 状态监测设置
       connect_timeout 10       #超时配置，单位秒
       retry 3             #重试次数
       delay_before_retry 3        #重试距离
       connect_port 3306         #连贯端口，和下面保持一致
       }
    }   
}

    批改完后重启 Keepalived 服务。

7. 清理数据并验证

  1. 通过应用服务动静扩容接口做调整和验证

  2. 在 Server1 节点清理数据

    依据取模规定，保留 accountNo 为偶数的数据 

    delete from t_trade_order where accountNo % 2 != 0

  3. 在 Server2 节点清理数据

    依据取模规定，保留 accountNo 为奇数的数据 

    delete from t_trade_order where accountNo % 2 != 1

本文由 mirson 创作分享，如需进一步交换，请加 QQ 群：19310171 或拜访 www.softart.cn

正文完
java
发表至： java
2021-04-01
 0
Java服务器Disruptor使用注意
关于java:你的产品需要一个用户忠诚度养成计划
关于java:跨域的实现
关于java:深入浅出设计模式单例模式