乐趣区

关于java:使用ShardingJDBC进行分库分表读写分离

jiezi

分库分表

为什么要分库分表？

数据库的数据量是不可控的，随着工夫和业务倒退，造成表外面数据越来越多，如果再去对数据库表 curd 操作时候，造成性能问题。分库分表为了解决因为数据量过大而造成数据库性能升高问题。

分库分表的形式

1. 垂直切分

  • 垂直分表

对表中的字段进行拆分，把表中一部分字段放到一张表中，把另一部分字段数据放到另外一张表职工

  • 垂直分库

把数据库依照业务进行划分，每个库只有一张表，如商品库中的商品表，订单库中的订单表，即专库专表

2. 程度切分

  • 程度分表

相当于在一个数据库复制其中表，除表名不同外，新表构造与原来的一样

  • 程度分库

相当于复制数据库，除库名不同外，数据库与原来的一样

Sharding-JDBC 进行分库分表

Sharding-JDBC 仅简化对分库分表之后数据相干操作
1. 垂直分库
多个数据库状况下，对表进行操作，只会影响对应的专库

#======================== 垂直分库 ===================
#spring.shardingsphere.datasource.names=ds1,ds2,ds0
#
#spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/edu_db_1
#spring.shardingsphere.datasource.ds1.username=root
#spring.shardingsphere.datasource.ds1.password=root
#
#spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds2.url=jdbc:mysql://localhost:3306/edu_db_2
#spring.shardingsphere.datasource.ds2.username=root
#spring.shardingsphere.datasource.ds2.password=root
#
#spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/user_db
#spring.shardingsphere.datasource.ds0.username=root
#spring.shardingsphere.datasource.ds0.password=root
#
## 配置 user_db 数据库外面 t_user 专库专表
#spring.shardingsphere.sharding.tables.t_user.actual-data-nodes=ds$->{0}.t_user
#
## 指定 course 表外面主键 cid 生成策略  SNOWFLAKE
#spring.shardingsphere.sharding.tables.t_user.key-generator.column=user_id
#spring.shardingsphere.sharding.tables.t_user.key-generator.type=SNOWFLAKE
#======================== 垂直分库 ===================

2. 程度分表
(1) 创立数据库 course_db
(2)在数据库创立两张表 course_1 和 course_2
(3)约定规定: 如果增加课程 cid 是偶数把数据增加 course_1，如果奇数增加到 course_2
次要配置如下：

#======================== 程度分表 ===================
spring.shardingsphere.datasource.names=ds0
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/course_db
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=root
#course 代表逻辑表名
#指定 course 表的散布状况，配置表在那个数据库外面，表名称都是什么
spring.shardingsphere.sharding.tables.course.actual-data-nodes=ds0.course_$->{0..1}

#指定分片策略 约定 cid 值偶数增加到 course_1, 奇数增加到 course_2
spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}
#======================== 程度分表 ===================

3. 程度分库
(1) 创立两个数据库 edu_db_1，edu_db_2
(2)每个数据库创立两张表 course_1 和 course_2
(3)
a: 分库规定:userid 为偶数，数据增加到 edu_db_1 数据库，奇数数据增加到 edu_db_2 数据库。
b: 分表规定: 如果增加课程 cid 是偶数把数据增加 course_1，如果奇数增加到 course_2
次要配置如下：

#======================== 程度分库 ===================
#spring.shardingsphere.datasource.names=ds1,ds2
#
#spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/edu_db_1
#spring.shardingsphere.datasource.ds1.username=root
#spring.shardingsphere.datasource.ds1.password=root
#
#spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds2.url=jdbc:mysql://localhost:3306/edu_db_2
#spring.shardingsphere.datasource.ds2.username=root
#spring.shardingsphere.datasource.ds2.password=root
#
#指定数据库散布状况，数据库外面表散布状况
## d1  d2    course_1 course_2
#spring.shardingsphere.sharding.tables.course.actual-data-nodes=ds$->{1..2}.course_$->{1..2}

## 指定分片策略 约定 cid 值偶数增加到 course_1, 奇数增加到 course_2
#spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
#spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}
#指定分库策略 约定 user_id 值偶数增加到 edu_db_1, 奇数增加到 edu_db_2
#spring.shardingsphere.sharding.tables.course.database-strategy.inline.sharding-column=user_id
#spring.shardingsphere.sharding.tables.course.database-strategy.inline.algorithm-expression=ds$->{user_id % 2 + 1}
#======================== 程度分库 ===================

4. 公共表
公共表：
(1)存储固定数据的表，表数据很少发生变化，查问时候常常进行关联
(2)在每个数据库中创立出雷同构造公共表
在多个数据库都创立雷同构造公共表，对某个库的公共表进行操作，会播送到其余所有公共表

## 配置公共表
#spring.shardingsphere.sharding.broadcast-tables=t_udict
#spring.shardingsphere.sharding.tables.t_udict.key-generator.column=dictid
#spring.shardingsphere.sharding.tables.t_udict.key-generator.type=SNOWFLAKE

读写拆散

为什么要读写拆散？

为了确保数据库产品的稳定性，很多数据库领有双机热备性能。也就是，第一台数据库服务器，是对外提供增删改业务的生产服务器；第二台数据库服务器，次要进行读的操作。

读写拆散原理


读写拆散基于主从复制，Sharding-JDBC 通过 sql 语句语义剖析，实现读写拆散过程，不会做数据同步

筹备工作：

因为我原来曾经有一个 MySql 服务在运行，为了避免搞崩，用这个办法
一台 linux 主机启动多个 MySQL 数据库
/usr/local/mysql/data/3307/my.cnf 主库配置：

/usr/local/mysql/data/3308/my.cnf 从库配置：

新增了 3307 3308 端口两个主从 MySql 服务：

新增账号：

1. 切换至主库 bin 目录，登录主库
2. 受权主备复制专用账号
GRANT REPLICATION SLAVE ON . TO ‘root’@’192.168.1.80’ IDENTIFIED BY ‘root’;
3. 刷新权限
FLUSH PRIVILEGES;
4. 确认位点 记录下文件名以及位点
show master status;

设置主从复制

1. 切换至从库 bin 目录，登录从库
2. 先进行同步
STOP SLAVE;
3. 批改从库指向到主库，应用上一步记录的文件名以及位点
CHANGE MASTER TO
master_host = ‘192.168.1.80’,
master_user = ‘root’,
master_password = ‘root’,
master_log_file = ‘mysql‐bin.000003’,
master_log_pos = 666;
4. 启动同步
START SLAVE;
5. 查看从库状态 Slave_IO_Runing 和 Slave_SQL_Runing 都为 Yes 阐明同步胜利，如果不为 Yes，请查看 error_log，而后
排查相干异样。
show slave status;

Sharding-JDBC 读写拆散配置
#======================== 读写拆散 ====================
spring.shardingsphere.datasource.names=m1,s1

spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.m1.url=jdbc:mysql://192.168.1.80:3307/user_db
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=root

spring.shardingsphere.datasource.s1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.s1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.s1.url=jdbc:mysql://192.168.1.80:3308/user_db
spring.shardingsphere.datasource.s1.username=root
spring.shardingsphere.datasource.s1.password=root

spring.shardingsphere.sharding.master‐slave‐rules.ds0.master-data-source-name=m1
spring.shardingsphere.sharding.master‐slave‐rules.ds0.slave-data-source-names=s1

#======================== 读写拆散 ====================

残缺 github 地址：
https://github.com/WillLiaowh/ShardingJdbc-Demo

参考：
https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/sharding-jdbc/configuration/config-spring-boot/

https://www.bilibili.com/video/BV1LK411s7RX?p=1

退出移动版