关于数据库:TDSQL-PostgreSQL版产品功能

31次阅读

共计 3042 个字符,预计需要花费 8 分钟才能阅读完成。

高效分布式 JOIN 计算
业务剖析场景,通常会有 2 个或多个表关联(JOIN)的逻辑,此逻辑在单机模式中是一个简略的操作,但在集群模式下,因为数据分布在 1 个或多个物理节点中,解决会绝对简单。在很多分布式解决方案中,JOIN 会把数据拉取到一个节点,进行关联计算,不仅消耗了大量网络资源,且语句的执行耗时会很高。

TDSQL PostgreSQL 版 通过如下形式对分布式 JOIN 进行高效计算,基于高效的全局查问打算和数据重散布的技术撑持,TDSQL PostgreSQL 版 能轻易施展并行计算的劣势,高效实现 JOIN 过程。

在执行形式上,协调节点接管到用户的 SQL 申请,依据收集的集群统计信息,生成最优的集群级分布式查问打算,并下发到参加计算的数据节点上进行执行,即协调节点下发的是执行打算,数据节点负责执行该打算。
在数据交互上,数据节点之间建设了高效数据交换通道,能够高效的替换数据,数据交换的过程在 TDSQL PostgreSQL 版 里称之数据重散布(Data Redistribution)。
多核并行计算
TDSQL PostgreSQL 版 在节点外部采纳了并行计算,同时启动多个过程来协同实现一个查问,可充分利用服务器的多核解决能力来疾速、高效地实现查问。通常状况下,TDSQL PostgreSQL 版 会启动多个过程来实现查问,查问工夫会大大缩短,如果有更多的资源可供使用,查问工夫则会呈线性优化。
TDSQL PostgreSQL 版 会依据查问表大小来决定是否进行并行查问,表的数据量超过阈值后,才会采纳并行计算,当须要并行计算时,会依据表大小得出并行度,即须要的过程个数。

数据安全保障性能
数据加密
TDSQL PostgreSQL 版 提供两种数据加密形式:

业务侧加密:业务调用 TDSQL PostgreSQL 版 内置的加密函数,将加密后果写入数据库,失常读取的也是加密后的数据,而后在利用里执行解密。
TDSQL PostgreSQL 版 内置加密:加密过程对业务侧通明,长处如下:
加密操作(函数调用)与业务侧解耦合,业务只负责写入原始数据到数据库内核,后续的加密计算在数据库外部实现,从而业务侧操作上无感知。
加密算法由数据库保护,包含加密算法的抉择、密钥治理,都由安全员独立操作实现。
TDSQL PostgreSQL 版 内核加密计算反对异步加密,保证系统在吞吐不变的状况下,达成数据加密。反对的加密算法有 AES128、AES192、AES256、国密 SM4。
同时 TDSQL PostgreSQL 版 反对通明数据脱敏性能,在用户无感知的状况下,对非受权用户返回被脱敏的数据。
从以上两个维度实现更细粒度的数据访问控制,加强对现有拜访的管制,且对现有业务零碎无感知。
全方位审计
TDSQL PostgreSQL 版 从多个维度提供全方位的审计能力,审计采纳旁路检测形式,对数据库运行影响极小。审计类型如下:

语句审计:针对某一种特定的语句进行审计。
对象审计:针对某个数据库对象的操作进行审计。
用户审计:针对某个数据库用户的操作进行审计。
细粒度审计(Fine-Grained Audit,FGA):高级审计选项,应用表达式来作为审计条件,可设置审计被触发时的动作,例如,发邮件打电话等。
数据治理性能
数据治理包含数据歪斜的治理和冷热数据分级存储。数据歪斜的治理用以解决数据分布不均带来的存储及性能压力,冷热数据分级存储用以升高业务的存储老本、晋升热数据的性能。

数据歪斜治理
该计划首先把零碎的 DN 分为 group,每个 group 蕴含一个或多个 DN;每个 group 有一个 shardmap;建 sharded 表时,能够指定存储的 group;CN 能够拜访所有的 group,且 CN 上存储所有表的拜访形式信息。

对于零碎中数据量较大的用户进行特地辨认,并为其创立白名单,应用不同的数据分布逻辑:

普通用户应用默认的数据分布逻辑,即 Shardid = Hash(merchantid) % #shardmap
大用户应用定制的数据分布逻辑,即 Shardid = Hash(merchantid) % #shardmap + fcreate_time dayoffset from 1970-01-01
通过在大用户 group 散布逻辑中退出日期偏移,来实现同一个用户的数据在 group 外部多个节点间均匀分布,从而无效解决数据分布不平均问题。
冷热数据拆散
内核原生反对数据的冷热拆散,业务无需感知底层存储介质的不同,对外提供对立的数据库视图。

冷热数据应用不同的节点 group 存储,节点组外部应用的物理机型配置不同,从而达到冷热拆散节省成本的目标。
后盾定时工作依据用户配置的冷热数据规定,主动进行数据迁徙,零碎即可实现主动的冷热拆散,业务无需关怀集群的冷热数据存储状况。
多级容灾性能
TDSQL PostgreSQL 版 在多个维度保障集群的容灾能力:

强同步复制
TDSQL PostgreSQL 版 反对强同步复制,在节点级保障每个节点的主从数据完全一致,是整个容灾体系的根底,当主节点(Master)故障产生时,数据库可切换到从节点(Slave)提供服务且无任何数据失落。强同步机制要求用户申请产生,从节点写入日志胜利后,才给用户返回胜利,保障主从节点的数据时刻统一。

主从高可用
TDSQL PostgreSQL 版 主从高可用计划次要通过每组节点的多正本冗余来实现服务不中断或中断工夫很短,当一组节点的主节点呈现故障不可复原,将主动从对应的备节点中选出新的主节点工作。在主从高可用根底上 TDSQL PostgreSQL 版 反对:

故障主动转移:集群中主节点故障时,零碎主动从对应的从节点中选出新的主节点,故障节点主动被集群隔离,基于强同步复制策略,主从切换保障主从数据完全一致,可满足金融级数据一致性要求。
故障复原:备节点因磁盘故障导致数据失落时,数据库管理员(DBA)能够通过重做备机来复原备机,可抉择在新的物理节点上增加备机来复原主从备份关系,保障系统可靠性。
正本切换:每组主从节点(能够是 1 主 N 从)的每个节点都蕴含残缺的数据正本,DBA 可依据需要进行切换。
设置禁止切换:即可设置在某一非凡期间,不解决故障转移。
跨可用区部署:主节点和从节点分处于不同机房,数据之间通过专线网络进行实时的数据复制。本地为主节点,近程为从节点,首先拜访本地节点,若本地主节点产生故障或拜访不可达,则近程的从节点升为主节点提供服务。
TDSQL PostgreSQL 版 反对基于强同步的高可用计划,主节点故障时将主动选出最优从节点立刻顶替工作,切换过程对用户通明,且不扭转拜访 IP。TDSQL PostgreSQL 版 对系统组件反对 7 * 24 小时继续监控,产生故障时,TDSQL PostgreSQL 版 将主动重启节点或者隔离节点,从从节点选出新主节点提供服务。

基于工夫点的复原性能
TDSQL PostgreSQL 版 反对基于备份在事务一致性的工夫点复原数据,避免误操作带来的数据失落。备份分为全量备份(冷备)和增量备份(xlog 备份):

全量备份:指备份数据库的全副数据(除了运行日志和 xlog 之外),全量备份通常是周期性,如一天、一周或 N 天。
增量备份:指增量数据的备份,个别通过 xlog 文件实现,当数据库系统产生新的 xlog 文件后,零碎将 xlog 文件备份到备份服务器上,增量备份通常是实时的行为。
当产生事变或劫难后,用户能够利用备份数据来复原零碎。TDSQL PostgreSQL 版 是一个全局分布式事务的数据库系统,各节点之间数据是关联的,因而复原零碎须要通过一个全局工夫点来复原。

正文完
 0