共计 6051 个字符,预计需要花费 16 分钟才能阅读完成。
一、ShardingSphere-Proxy 的外围概念
-
ShardingSphere-Proxy 概念
官网地址:https://shardingsphere.apache…
ShardingSphere-Proxy 就是数据库的代理,如图:
-
ShardingSphere-Proxy 次要代理哪些数据库
默认代理:Mysql、PostSql
-
实现代理的目标
- 次要是为了实现分库分表
-
实现读写拆散
这两个也是 ShardingSphere-Proxy 的两大外围性能。
-
分库分表
-
分库的概念和目标
-
概念
数据库中的表存储到不同的数据库中;如图:
-
-
- 目标
避免一个库中多个表呈现资源竞争【CPU、内存】,导致性能降落。
-
分表的概念和目标
-
概念
将数据库中一张表分成多张表,如图:
-
- 目标
分表是解决表中数据量过大,晋升用户查问和增加数据的性能。比方:以 mysql 数据库为例,当用户增加数据会通过 mysql 的 InnoDB 引擎存储到数据中,InnoDB 引擎要想保证数据的性能在肯定的范畴之内,表中的数据量最大的峰值为 2000w,如果超过 2000W 那么增加数据的性能会降落,所以咱们要将超过 2000W 数据量的表拆分成多个表,这样能力保障用户的体验度。- 缺点
1. 并发量过大,表会呈现资源竞争 [CPU、内存] 的问题,这样导致性能降落,用户的体验度变差。解决方案:分库
-
分库分表
-
目标
解决表资源竞争和数据量过大的问题。
-
二、ShardingSphere-Proxy 的利用场景
-
场景
单体我的项目和微服务项目都能用到分库分表。
三、ShardingSphere-Proxy 散布分表落地
-
工具
ShardingSphere-Proxy
-
计划
-
过程内
如图:
-
- 缺点
1. 资源竞争问题。2. 异样影响问题。
-
过程外【举荐】
如图:
- 缺点
1. 保护量大的问题。2. 性能绝对过程内弱一些。- 能够放在内网中进行通信【docker】
-
实现
-
条件
- Mysql 数据库 版本:5.7
-
ShardingSphere-Proxy
-
网盘下载地址
链接:https://pan.baidu.com/s/15yUIDQOdDDwUtVLNxNa9Cg 提取码:3hp3
-
-
Java 的 JDK
-
网盘下载地址
链接:https://pan.baidu.com/s/1A-ksNN0YicT3hXjFscGGwA 提取码:r9e0
-
-
下载 Mysql 的连贯驱动 文件放到根目录 lab 文件夹下
网盘下载地址:
链接:https://pan.baidu.com/s/1924iUe7wxGpStAzxxv2K3g 提取码:jy7z
-
配置
-
分表
-
配置
-
config-sharding.yaml 分片的配置文件
# 3、创立客户端连贯库 hmms:虚构的数据库名称【最好和实在的数据库名称一样】在 server.yaml 命名 schemaName: hmms # 1、连贯 mysql dataSources: hmmsdatasources-0: #节点名称 自定义 url: jdbc:mysql://127.0.0.1:3306/ 实在数据库名称?serverTimezone=UTC&useSSL=false username: 数据库用户名 password: 数据库明码 connectionTimeoutMilliseconds: 30000 idleTimeoutMilliseconds: 60000 maxLifetimeMilliseconds: 1800000 maxPoolSize: 50 # 2、分片规定 shardingRule: tables: #表 user: #逻辑表名 要对哪个表进行分表 actualDataNodes: hmmsdatasources-0.user-${0..1} #分几张表 这个是两个表 #hmmsdatasources-0:节点名称 tableStrategy: #数据分表策越 inline: shardingColumn: useid #分表字段 algorithmExpression: user-${useid % 2} #对 useid 取模分表 #创立多个表 #表名: #逻辑表名 要对哪个表进行分表 #actualDataNodes: hmmsdatasources-0. 表名 -${0..1} #分几张表 这个是两个表 #hmmsdatasources-0:节点名称
-
server.yaml
authentication: users: root: #数据库用户名 password: 数据明码 sharding: password: sharding authorizedSchemas: hmms
-
-
-
-
3. ShardingSpere-Proxy
运行命令
```
#根目录 bin 文件下执行命令
start.bat
```
运行后果如图:![在这里插入图片形容](https://img-blog.csdnimg.cn/7121143f98ac457685eb143407266079.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAQEDnpZ7lhpw=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)
4. MySql 数据库
- 新建实在数据库名称
```sql
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (`useid` int(11) NOT NULL,
`usenam` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '登录名',
`usepwd` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '登录明码',
`usestate` int(11) NULL DEFAULT 2 COMMENT '-1:删除 1:登记 2:失常 3:挂失',
`usekey` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '用户秘钥',
`usetel` varchar(11) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '用户手机',
`createbyid` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '增加人',
`createbytime` datetime(0) NULL DEFAULT NULL COMMENT '增加工夫',
`modifybyid` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '批改人',
`modifybytime` datetime(0) NULL DEFAULT NULL COMMENT '批改工夫',
PRIMARY KEY (`useid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
SET FOREIGN_KEY_CHECKS = 1;
```
如图:![在这里插入图片形容](https://img-blog.csdnimg.cn/99ed8284c8814b4bb333d5e8ab7e7250.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAQEDnpZ7lhpw=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)
- 新建 3307 虚构数据库连贯
如图:![在这里插入图片形容](https://img-blog.csdnimg.cn/c1008a094b154af79b0f986068da842b.png#pic_center)
- 删除表
删除 3306 中 hmms 库的 user 表,并在虚构的数据库中执行新建表的脚本,运行后果如下:虚构数据库:![在这里插入图片形容](https://img-blog.csdnimg.cn/8721d0a8e37b4ddfb4a98edde3739e27.png#pic_center)
实在数据库
![在这里插入图片形容](https://img-blog.csdnimg.cn/f56fd16ea02047948046d7a2685fb3f9.png#pic_center)
- 增加数据
虚构数据库中增加两条数据,运行后果如下:![在这里插入图片形容](https://img-blog.csdnimg.cn/f2973fa5d3f94d90a1f33427a7350ca7.png#pic_center)
实在数据库 表一,运行后果如下:![在这里插入图片形容](https://img-blog.csdnimg.cn/ec475b8323174741adfb18abaf24d99f.png#pic_center)
实在数据库 表二,运行后果如下:![在这里插入图片形容](https://img-blog.csdnimg.cn/e95432d9f2464909bdf7ae25fb8123ff.png#pic_center)
2. 分库
- 配置
```yaml
# 3、创立客户端连贯库
schemaName: hmms
# 1、连贯 mysql
dataSources:
hmmsdatasources-0: #实在数据库 0
url: jdbc:mysql://127.0.0.1:3306/hmms-0?serverTimezone=UTC&useSSL=false
username: 用户名
password: 明码
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
hmmsdatasources-1: #实在数据库 1
url: jdbc:mysql://127.0.0.1:3306/hmms-1?serverTimezone=UTC&useSSL=false
username: 用户名
password: 明码
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
# 2、分片规定
shardingRule:
tables: #表
user: #逻辑表名
actualDataNodes: hmmsdatasources-${0..1}.user #分表
tableStrategy: #数据分表策越
inline:
shardingColumn: useid #分表字段
algorithmExpression: user-${useid % 2} #对 useid 取模分表
defaultDatabaseStrategy: # 数据分库策略
inline:
shardingColumn: useid #分库字段
algorithmExpression: hmmsdatasources-${useid % 2} #对 Id 取模分库 productdatasources-0
```
3. 分库分表
- 配置
```
# 3、创立客户端连贯库
schemaName: hmms
# 1、连贯 mysql
dataSources:
hmmsdatasources-0: #实在数据库 0
url: jdbc:mysql://127.0.0.1:3306/hmms-0?serverTimezone=UTC&useSSL=false
username: 用户名
password: 明码
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
hmmsdatasources-1: #实在数据库 1
url: jdbc:mysql://127.0.0.1:3306/hmms-1?serverTimezone=UTC&useSSL=false
username: 用户名
password: 明码
connectionTimeoutMilliseconds: 30000
idleTimeoutMilliseconds: 60000
maxLifetimeMilliseconds: 1800000
maxPoolSize: 50
# 2、分片规定
shardingRule:
tables: #表
user: #逻辑表名
actualDataNodes: hmmsdatasources-${0..1}.user-${0..1} #分表
tableStrategy: #数据分表策越
inline:
shardingColumn: useid #分表字段
algorithmExpression: user-${useid % 2} #对 useid 取模分表
defaultDatabaseStrategy: # 数据分库策略
inline:
shardingColumn: useid #分库字段
algorithmExpression: hmmsdatasources-${useid % 2} #对 Id 取模分库 productdatasources-0
```
四、ShardingSphere-Proxy 运行原理
-
整体架构
总共 6 个阶段:
1、Database Adaptors:数据库的抉择
2、SQL Parser:解析 sql
3、SQL Router:sql 路由 去哪一个实在数据库执行
4、SQL Rewriter:sql 优化重写 外围 保障性能
5、SQL Executor Engine:执行 sql 语句 实在数据库获取后果
6、Result Merger:后果合并 从多个表获取后果
五、ShardingSphere_Proxy 分片原理
-
分片的概念
就是将数据分片到不同的表中。
-
分片键
分片键就是表中的字段。就是依据什么字段分片的。
-
分片算法
依据规定【分片算法】按分片键将数据分到不同的表中。
-
取模算法
-
缺点
只能时数字类型
-
-
hash+ 取模
-
如果分片键为字符类型,就用 hash+ 取模的形式进行分片。
Math.abs(分片键.hashCode()%2)
-
-