共计 5592 个字符，预计需要花费 14 分钟才能阅读完成。
前言
之前总在聊微服务，微服务自身也是分布式系统，其实微服务的核心思想是分而治之，把一个简单的单体零碎，依照业务的交付，分成不同的自服务，以升高资深复杂度，同时能够晋升零碎的扩展性。
明天想聊一下分库分表，因为对于快速增长的业务来说，这个是无奈回避的一环。之前我在做商城相干的 SAAS 零碎，商品池是一个存储瓶颈，商品池数量会基于租户增长和经营变得指数级增长，短短几个月就能涨到几千万的数据，而经营半年后就可能过亿。而对于订单这种数据，也会跟着业务的成长，也会变得愈发微小。
存储层来说，晋升大数据量下的存储和查问性能，就波及到了另一个层面的问题，但思维还是一样的，分而治之。
咱们面临什么样的问题
关系型数据库在大于肯定数据量的状况下检索性能会急剧下降。在面对海量数据状况时，所有数据都存于一张表，显然会轻易超过数据库表可接受的。
此外单纯的分表尽管能够解决数据量过大导致检索变慢的问题，但无奈解决过多并发申请拜访同一个库，导致数据库响应变慢的问题。所以须要分库来解决单数据库实例性能瓶颈问题。
数据库架构计划
在讲具体解决方案之前，咱们须要先理解一下数据库的三种架构波及计划。
1. Shared Everything
个别指的是单个主机的环境，齐全通明共享的 CPU/ 内存 / 硬盘，并行处理能力是最差的，个别不思考大规模的并发需要，架构比较简单，个别的利用需要根本都能满足。
2. Shared Disk
各处理单元应用本人的公有 CPU 和 Memory，共享磁盘零碎。典型的代表是 Oracle RAC、DB2 PureScale。例如 Oracle RAC，他用的是共享存储，做到了数据共享，可通过减少节点来进步并行处理的能力，扩大能力较好，应用 Storage Area Network (SAN)，光纤通道连贯到多个服务器的磁盘阵列，升高网络耗费，进步数据读取的效率，罕用于并发量较高的 OLTP 利用。其相似于 SMP(对称多解决)模式，然而当存储器接口达到饱和的时候，减少节点并不能取得更高的性能，同时更多的节点，则减少了运维的老本。
3. Shared Nothing
各处理单元都有本人公有的 CPU/ 内存 / 硬盘等，Nothing，顾名思义，不存在共享资源，相似于 MPP(大规模并行处理)模式，各处理单元之间通过协定通信，并行处理和扩大能力更好。典型代表 DB2 DPF、带分库分表的 MySQL Cluster，各节点互相独立，各自解决本人的数据，解决后的后果可能向下层汇总或在节点间流转。
咱们常说的 Sharding 其实就是 Shared Nothing，他是将某个表从物理存储上被程度宰割，并调配给多台服务器(或多个实例)，每台服务器能够独立工作，具备独特的 schema，例如 MySQL Proxy 和 Google 的各种架构，只需减少服务器数就能够减少解决能力和容量。
至于 MPP，指的是大规模并行剖析数据库(Analytical Massively Parallel Processing (MPP) Databases)，他是针对剖析工作负载进行了优化的数据库，个别须要聚合和解决大型数据集。MPP 数据库往往是列式的，因而 MPP 数据库通常将每一列存储为一个对象，而不是将表中的每一行存储为一个对象。这种体系结构使简单的剖析查问能够更快，更无效地解决。例如 TeraData、Greenplum，GaussDB100、TBase。
基于以上的这几种架构计划，咱们能够给出大数据量存储的解决方案：
[]()
以上几种解决方案各有利弊，分区模式最大的问题是准 share everything 架构，无奈程度扩大 cpu 和内存，所以根本能够排除；nosql 自身其实是个十分好的备选计划，然而 nosql（包含大部分开源 newsql）硬件耗费十分大，运维老本较高。而罕用的一种计划就是基于 Mysql 的分库分表计划。
分库分表架构计划
对于分库分表，首先看一下市面上有哪些产品。
| 业界组件 | 原厂 | 性能个性 | 备注 |
|---|---|---|---|
| DBLE | 爱可生开源社区 | 专一于 mysql 的高可扩展性的分布式中间件 | 基于 MyCAT 开发进去的增强版。 |
| Meituan Atlas | 美团 | 读写拆散、单库分表 | 目前曾经在原厂逐渐下架。 |
| Cobar | 阿里（B2B） | Cobar 中间件以 Proxy 的模式位于前台利用和理论数据库之间，对前台的凋谢的接口是 MySQL 通信协议 | 开源版本中数据库只反对 MySQL，并且不反对读写拆散。 |
| MyCAT | 阿里 | 是一个实现了 MySQL 协定的服务器，前端用户能够把它看作是一个数据库代理，用 MySQL 客户端工具和命令行拜访，而其后端能够用 MySQL 原生协定与多个 MySQL 服务器通信 | MyCAT 基于阿里开源的 Cobar 产品而研发 |
| Atlas | 360 | 读写拆散、动态分表 | 2015 年后曾经不在保护 |
| Kingshard | 开源我的项目 | 由 Go 开发高性能 MySQL Proxy 我的项目，在满足根本的读写拆散的性能上，Kingshard 的性能是直连 MySQL 性能的 80% 以上。 | |
| TDDL | 阿里淘宝 | 动静数据源、读写拆散、分库分表 | TDDL 分为两个版本, 一个是带中间件的版本, 一个是间接 Java 版本 |
| Zebra | 美团点评 | 实现动静数据源、读写拆散、分库分表、CAT 监控 | 功能齐全且有监控，接入简单、限度多。 |
| MTDDL | 美团点评 | 动静数据源、读写拆散、分布式惟一主键生成器、分库分表、连接池及 SQL 监控 | |
| Vitess | 谷歌、Youtube | 集群基于 ZooKeeper 治理，通过 RPC 形式进行数据处理，总体分为，server，command line，gui 监控 3 局部 | Youtube 大量利用 |
| DRDS | 阿里 | DRDS（Distributed Relational Database Service）专一于解决单机关系型数据库扩展性问题，具备轻量(无状态)、灵便、稳固、高效等个性，是阿里巴巴团体自主研 | |
| Sharding-proxy | apache 开源我的项目 | 提供 MySQL 版本，它能够应用任何兼容 MySQL 协定的拜访客户端 (如：MySQL Command Client, MySQL Workbench 等) 操作数据，对 DBA 更加敌对。向应用程序齐全通明，可间接当做 MySQL 应用。实用于任何兼容 MySQL 协定的客户端。 | Apache 我的项目，定位为透明化的数据库代理端，提供封装了数据库二进制协定的服务端版本，用于实现对异构语言的反对。 |
| Sharding jdbc | apache 开源我的项目 | 齐全兼容 JDBC 和各种 ORM 框架。实用于任何基于 Java 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或间接应用 JDBC。基于任何第三方的数据库连接池，如：DBCP,C3P0, BoneCP, Druid, HikariCP 等。反对任意实现 JDBC 标准的数据库。目前反对 MySQL，Oracle，SQLServer 和 PostgreSQL | Apache 我的项目，定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额定服务。它应用客户端直连数据库，以 jar 包模式提供服务，无需额定部署和依赖，可了解为增强版的 JDBC 驱动 |
对于分库分表的产品模式，又分为两种，中间件模式和客户端模式。
1. 中间件模式其优缺点
中间件模式独立过程，所以能够反对异构语言，对以后程序没有侵入性，对业务方来说是通明的 mysql 服务，然而毛病也非常明显，硬件耗费大、运维老本高（尤其是在本地化施行状况下），同时因为对关系型数据库减少了代理，会造成问题难调试。
2. 客户端模式优缺点
客户端模式的次要毛病是对代码有侵入，所以根本只能反对单语言，同时因为每个客户端都要对 schema 建设连贯，所以如果数据库实例不多，须要对连接数认真管制，然而客户端模式的长处也非常明显，首先从架构上它是去中心化的，这样就防止了中间件模式的 proxy 故障问题，同时因为没有中间层性能高、灵便可控，而且因为没有 proxy 层，不须要思考 proxy 的高可用和集群，运维老本也比拟低。
sharding-jdbc 接入实战
sharding-jdbc 其实是这些产品中最为大家熟知的，也是因为它定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额定服务。它应用客户端直连数据库，以 jar 包模式提供服务，无需额定部署和依赖，可了解为增强版的 JDBC 驱动，齐全兼容 JDBC 和各种 ORM 框架。实用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或间接应用 JDBC。而且在社区活跃度，代码品质等方面，也是很不错的。接下来，我讲具体讲一下接入细节。
1. 组件集成
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId> <version> 5.0.0</version>
</dependency>
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>dynamic-datasource-spring-boot-starter</artifactId>
<version>3.4.0</version>
</dependency> 2. bean 配置
配置 sharding jdbc 数据源并且退出到动静数据源中，用于数据源路由。
[]()
批改原配置核心对应服务的 mysql 数据源配置，对不分库分表的数据源配置为动静数据源默认路由
[]()
3. sharing JDBC 配置
spring.shardingsphere.enabled=true #shardingsphere 开关
spring.shardingsphere.props.sql.show=true
spring.shardingsphere.mode.type=Standalone #在应用配置核心的状况下，应用 standalone 模式即可（memery、standalone、cluster 三种模式）spring.shardingsphere.mode.repository.type=File #standalone 模式下应用 File，即以后配置文件
spring.shardingsphere.mode.overwrite=true # 本地配置是否笼罩配置核心配置。如果可笼罩，每次启动都以本地配置为准。spring.shardingsphere.datasource.names=ds-0,ds-1 #配置数据源名字，实在数据源
#配置 ds- 0 数据源
spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc:mysql://****
spring.shardingsphere.datasource.ds-0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-0.username=
spring.shardingsphere.datasource.ds-0.password=
#配置 ds- 1 数据源
spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc:mysql://****
spring.shardingsphere.datasource.ds-1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds-1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds-1.username=
spring.shardingsphere.datasource.ds-1.password=
#配置模式数据库分片键和相干的表
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-column=user_id
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-algorithm-name=database-inline
spring.shardingsphere.rules.sharding.binding-tables[0]=t_order,t_order_item
spring.shardingsphere.rules.sharding.broadcast-tables=t_address #配置播送表，即所有库中都会同步增删的表 以上是一些根本配置，还有一些业务场景配置，大家能够参考开源社区文档: https://shardingsphere.apache.org/document/4.1.0/cn/overview/
总结
对于具体业务场景，咱们首先是基于 DDD 的思维划分业务单元，最开始先做好垂直分库。接着是针对一些特定的业务增长量微小的表，进行程度的分库解决，比方商品子域中的商品池表，订单子域中的订单表等等。
而在分表维度，业务初期，就要最好垂直分表的设计。比方商品池设计中，只须要存储关系信息，而商品详情的信息独自存储在一个底表之中。
作者：京东物流 赵勇萍
起源：京东云开发者社区