一、理解对等部署
KunlunDB是计算&存储拆散的分布式数据库,反对海量数据处理,能够解决传统数据库分库&分表带来的复杂性问题。
KunlunDB的外围组件如下图所示,由计算引擎和存储引擎组成。
计算引擎次要负责数据处理计算,是CPU资源密集型服务器,而存储引擎是IO资源密集型服务器,在理论生产环境部署过程中,能够将计算引擎和存储引擎部署在同一台服务器上,以取得资源的无效利用,同时通过不同节点间的组件冗余来实现高可靠性。
典型的对等部署构造下图所示:
KunlunDB集群服务数量没有限度,对等部署架构的特点是计算节点与存储节点并存于同一台物理服务器内,每台服务器既运行计算节点,同时也运行存储节点。
对于多正本Shard,主从正本不能位于同一台服务器内,而应该对等的散布在其余的服务器里。
1.1 KunlunServer(计算节点)
计算节点运行无状态计算&查问引擎,与存储进行交互执行SQL 工作,采纳异步通信模式,计算节点岂但能够本机上的存储节点交互,也能够通过网络与对接节点上其余的存储节点交互进行数据处理。
客户应用程序能够连贯到任意一台计算节点执行KunlunDB集群的数据处理工作。
1.2 KunlunStorage(存储节点)
存储节点由多个存储分片(Shard)组成,Shard的主从正本对等散布在可用的服务器中,每台服务器的存储节点是由某个Shard的主正本及其他Shard的从正本组成。
对等部署的益处:
无效利用服务器硬件资源
组件在服务器之间互相冗余进步系统可靠性
不便扩容,灵便扩大
二、对等部署指南
2.1 资源筹备:在对等部署计划中,各台服务的硬件配置应该统一, 操作系统及版本统一,服务器之间的网络带宽倡议是千兆或以上。
2.2 每台服务器的运行一个计算节点。
2.3 集群的Shard个数不应该超过服务器的数量,每台服务器只能运行集群的一个Shard的主节点。每个Shard的主从正本的参数配置利用统一。不同Shard的参数配置能够依据业务需要做共性配置。
2.4 每个Shard的正本数量能够依据业务需要定义,KunlunDB集群对正本数量没有限度,但从可靠性思考,倡议每个shard起码3个正本,正本数量不超过可用的机器数量。
2.5 在配置,倡议主从正本不要运行在同一台服务器内。
2.6 治理组件及其他组件:
- 元数据集群:倡议部署为一主两从的高可用模式,暂用资源较少,可依据现网状况抉择相应服务器部署。
- 集群管理器:倡议部署为一主两从的高可用模式,暂用资源较少,可依据现网状况抉择相应服务器部署。
- 节点管理器:每台服务器部署一个。
三、装置部署过程
对等部署的装置具体过程能够参考文档: KunlunDB疾速入门装置指南, KunlunDB 1.0将反对基于WEB UI界面的对等模式装置,进步装置的易用性。
对等部署的服务器资源布局参照上面表格(以三节点为例)
四、对等部署服务器配置要求
做为分布式数据库,KunlunDB集群对服务器的配置要求绝对较低,入门级的KunlunDB集群的服务器配置参考如下:
KunlunDB入门级机器配置:
- 服务器3台:亚马逊m5.4xlarge机型(CPU 8cores 16Threads , 内存64G,存储gp3, 通用型SSD卷3000IOPS ,125MB/s吞吐量,节点间网络带宽10G)。
- 数据库软件:KunlunDB 0.9.1。
- 部署架构:对等部署,3Shard , 每个Shard有3个正本。
KunlunDB我的项目已开源
【GitHub:】
https://github.com/zettadb
【Gitee:】
https://gitee.com/zettadb
END