一、前言
昆仑分布式数据库集群(下文简称昆仑数据库)是一个分布式关系数据库管理系统,面向TB和PB级别海量数据处理,以高吞吐量和低延时解决海量数据高并发读写申请。
它提供强壮的事务ACID保障,高效易用的分布式查询处理,高可扩展性,高可用性和通明的分库分表数据处理性能,业务层和终端用户无感知的程度扩大能力,是典型的 NewSQL分布式数据库系统。应用软件开发者依照应用单节点关系数据库雷同的办法应用昆仑数据库,就能够失去所有上述NewSQL数据库的长处,齐全不须要思考数据的分区形式等存储细节。
这样,利用开发者就能够十分疾速的开发强壮牢靠的,高可用和高可扩大的信息系统,来解决PB级海量数据。所有的海量数据管理的挑战和艰难都由昆仑零碎来解决,从而大大降低了开发分布式系统的工夫老本和资金老本和技术难度,并且全面晋升其产品质量,大大放慢利用开发和变更过程中的上线进度。
二、架构
昆仑分布式数据库架构图解
一个昆仑数据库集群有3类组件形成:一个或者多个计算节点,一个或者多个存储shard以及一个元数据集群。
2.1 计算节点
本软件是昆仑数据库的计算节点,基于PostgreSQL-11.5开发。为了实现主动的DDL同步及复制以及分布式事务,分布式查询处理等高级性能,咱们大量地批改了PostgreSQL源代码,而不是间接应用其FDW接口。咱们的代码放弃了很好的模块化,不便未来能够持续追随PostgreSQL版本更新。
kunlun-storage是昆仑数据库的存储节点,它是咱们基于percona-server-8.0深度优化开发的MySQL分支。用户必须应用kunlun-storage软件组建昆仑数据库的存储集群和元数据集群,因为昆仑数据库集群须要的要害性能只存在于kunlun-storage中,并且它还蕴含了社区版MySQL-8.0 XA事务处理的所有容灾缺点的修复;最初,kunlun-storage在XA事务处理方面比社区版mysql有大幅性能优化。计算节点应用PostgreSQL协定(后续会反对MySQL客户端协定)接管和验证用户的连贯申请,验证通过后,就接管和解决连贯上发来的查问并返回后果给客户端。
2.2 存储shard
用户能够依据工作负载来增减计算节点,每个计算节点彼此平等和独立,没有依赖关系,都能够解决用户连贯和读写申请。计算节点含有每个数据表以及其余数据库对象的元数据,然而用户数据存储在存储shard中。
执行一个SQL时,计算节点解析该语句,而后对它做分布式查问优化,而后通过与后端存储shard做交互来实现分布式查问执行。交互的办法就是依据SQL语句的须要和数据在后端shard的散布信息,为相干的后端存储shard生成SQL语句。
如果执行的SQL语句是 SELECT 或者 INSERT/DELETE/UPDATE...RETURNING 而不是简略的 INSERT/DELETE/UPDATE, 那么计算节点会并发地发送语句而后接管后果,最初合并解决所有后端存储shard返回的后果,造成最终的查问后果,返回给客户端。
每个存储shard 存储着一部分用户表或者表分区,每个shard的数据子集没有交加;每个存储shard是一个MySQL binlog复制集群,通过规范的MySQL MGR single master 模式或者基于传统的row based binlog复制的强同步机制来实现高可用性。
一个shard的主节点承受来自计算节点的读写申请,执行申请并返回后果给计算节点;启用了备机读性能时,shard的备节点能够接管和解决来自计算节点的只读申请。
用户能够依据数据量的减少和缩小来减少和较少存储shard,数据会主动平均扩散到所有shard下面,从而达到主动和通明的高可扩展性。
2.3 元数据集群
元数据集群也是一个MySQL binlog复制集群,存储着一个昆仑数据库集群的元数据。多个数据库集群能够共用同一个元数据集群。
最初,昆仑数据库还有一个cluster_mgr程序,它负责保护正确的集群和节点状态,占用资源极少。
*KunlunDB我的项目已开源
【GitHub:】
https://github.com/zettadb
【Gitee:】
https://gitee.com/zettadb
END