关于数据库:TDSQLA-PostgreSQL-产品概述-功能

31次阅读

共计 4310 个字符,预计需要花费 11 分钟才能阅读完成。

TDSQL-A PostgreSQL 版 是腾讯自主研发的无共享架构的分布式剖析型数据库系统,反对 SQL2011 规范,全面兼容 PostgreSQL 语法,高度兼容 Oracle 语法。自研列式存储引擎,反对行存储和列存储,反对混合存储,反对高压缩比。新一代向量化执行引擎能提供高性能海量数据实时高效简单查问剖析能力。

同时,反对残缺的分布式事务处理,反对多级容灾以及多维度资源隔离,还提供弱小的多级平安体系,提供弹性扩缩容能力,提供欠缺的企业级治理能力,为用户提供容灾、备份、复原、监控、平安、审计等全套解决方案,实用于 GB 级 – PB 级 的海量联机剖析解决(OLAP)场景,是具备市场竞争力的企业级数仓产品。

产品特点
行列混合存储:为更好地提供 OLAP 能力,TDSQL-A PostgreSQL 版 在兼容 PostgreSQL 生态的行式存储根底上,还自研了列式存储引擎,提供残缺的列存储能力,业务能够依据须要对写入数据库中的数据抉择对应存储格局,提供高效的行列混合查问能力。列存储反对弱小的压缩能力,包含通明压缩和轻量级压缩,通明压缩反对 zlib,zstd 等压缩算法,轻量级压缩算法反对 delta,rle,bitpack 算法,可依据数据的特色主动调整优化算法进行高效压缩,最高压缩比达 400:1。

高效简单查问:TDSQL-A PostgreSQL 版 自研新一代向量化执行引擎,对于简单查问有高效的解决能力,能实现万亿数据关联剖析秒级响应,性能相比开源和传统的数据仓库晋升数倍至数百倍;具备弱小的 OLAP 剖析能力。

业务平滑迁徙:反对 SQL2011 语法标准,语法残缺兼容 PostgreSQL,高度兼容 Oracle 语法,且装备有腾讯 DBbridge 迁徙工具,反对业务零碎尽可能平滑地迁徙到 TDSQL-A PostgreSQL 版。

企业级数据安全:反对平安管理员、审计管理员、数据管理员三权分立体系,提供数据存储加密、数据脱敏拜访、强制访问控制、数据审计等多个层级的策略保障数据安全。

残缺分布式事务:反对残缺的事务 ACID 能力,并且反对全局事务一致性;通过全局事务管理节点来治理分布式事务,通过领有自主专利的分布式事务一致性技术,来保证数据在分布式架构下的一致性和高效性。

丰盛的生态反对:TDSQL-A PostgreSQL 版 具备丰盛的周边生态:反对弱小的地理信息系统(GIS)。通过集群化的 PostGis 插件,反对存储空间天文数据,使 TDSQL-A PostgreSQL 版 成为一个空间数据库,可能通过 SQL 语言高效的进行空间数据治理、数量测量和几何拓扑剖析。TDSQL-A PostgreSQL 版 不仅是一个分布式关系型数据库系统,同时还反对非关系数据类型 JSON。反对 Foreign Data Wrappers(FDW)性能,该性能实现了局部的 SQL/MED 规定,容许用户应用一般 SQL 查问来拜访位于 PostgreSQL 之外的数据。FDW 性能提供一套编程接口,用户可进行插件式的二次开发,建设内部数据源和数据库间的数据通道。大多数状况下用户可用 oracle_fdw、mysql_fdw、postgres_fdw,非关系型数据库的 redis_fdw、mongodb_fdw,以及大数据的 hive_fdw、hdfs_fdw 等。基于 FDW 性能和已有插件,TDSQL-A PostgreSQL 版 提供弱小的数据库联邦能力,通过 TDSQL-A PostgreSQL 版 可能拜访已有的多个数据源的数据。反对通过数据迁徙和同步服务及工具,便捷地将不同部署形式的源端数据同步至 TDSQL-A PostgreSQL 版,包含腾讯云、自建或其余云数据库。同步性能稳固,性能优异,让您取得一体化数据体验。

产品性能
反对列式存储和多种压缩算法:TDSQL-A PostgreSQL 版 反对列式存储,客户能够依据本人的业务需要把表定义为列存表,个别倡议对于大宽表及有高压缩需要的表能够设置为列存表。列存表反对多种压缩算法,包含 delta,zlib,zstd,rle,bitpack 压缩算法,不同压缩算法反对不同的压缩级别,详见开发指南对应章节,TDSQL-A PostgreSQL 版 反对新一代列存存储向量化执行引擎,对行列混合存储和查问能提供很高效的查问性能。

高效分布式 JOIN 计算:业务剖析场景,通常会有 2 个或多个表关联(JOIN)的逻辑,此逻辑在单机模式中是一个简略的操作,但在集群模式下,因为数据分布在 1 个或多个物理节点中,解决会绝对简单。在很多分布式解决方案中,JOIN 会把数据拉取到一个节点,进行关联计算,不仅消耗了大量网络资源,且语句的执行耗时会很高。

TDSQL-A PostgreSQL 版 通过如下形式对分布式 JOIN 进行高效计算,基于高效的全局查问打算和数据重散布的技术撑持,TDSQL-A PostgreSQL 版 能很好地施展并行计算的劣势,高效实现 JOIN 过程。

在执行形式上,协调节点接管到用户的 SQL 申请,依据收集的集群统计信息,生成最优的集群级分布式查问打算,并下发到参加计算的数据节点上进行执行,即协调节点下发的是执行打算,数据节点负责执行该打算。

在数据交互上,数据节点之间建设了高效数据交换通道,能够高效的替换数据,数据交换的过程在 TDSQL-A PostgreSQL 版 里称之数据重散布(Data Redistribution)。多核并行计算

TDSQL-A PostgreSQL 版 在节点外部采纳了并行计算,同时启动多个过程来协同实现一个查问,可充分利用服务器的多核解决能力来疾速、高效地实现查问。通常状况下,TDSQL-A PostgreSQL 版 会启动多个过程来实现查问,查问工夫会大大缩短,如果有更多的资源可供使用,查问工夫则会呈线性优化。

TDSQL-A PostgreSQL 版 会依据查问表大小来决定是否进行并行查问,表的数据量超过阈值后,才会采纳并行计算,当须要并行计算时,会依据表大小得出并行度,即须要的过程个数。

数据安全保障性能 数据加密 TDSQL-A PostgreSQL 版 提供两种数据加密形式:

业务侧加密:业务调用 TDSQL-A PostgreSQL 版 内置的加密函数,将加密后果写入数据库,失常读取的也是加密后的数据,而后在利用里执行解密。TDSQL-A PostgreSQL 版 内置加密:加密过程对业务侧通明 长处如下:加密操作(函数调用)与业务侧解耦合,业务只负责写入原始数据到数据库内核,后续的加密计算在数据库外部实现,从而业务侧操作上无感知。加密算法由数据库保护,包含加密算法的抉择、密钥治理,都由安全员独立操作实现。内核加密计算反对异步加密,保证系统在吞吐不变的状况下,达成数据加密。反对的加密算法有 AES128、AES192、AES256、国密 SM4。数据脱敏 TDSQL-A PostgreSQL 版 反对通明数据脱敏性能,在用户无感知的状况下,对非受权用户返回被脱敏的数据。从以上两个维度实现更细粒度的数据访问控制,加强对现有拜访的管制,且对现有业务零碎无感知。

全方位审计 TDSQL-A PostgreSQL 版 从多个维度提供全方位的审计能力,审计采纳旁路检测形式,对数据库运行影响极小。审计类型如下:语句审计:针对某一种特定的语句进行审计。对象审计:针对某个数据库对象的操作进行审计。用户审计:针对某个数据库用户的操作进行审计。细粒度审计(Fine-Grained Audit,FGA):高级审计选项,应用表达式来作为审计条件,可设置审计被触发时的动作,例如,发邮件打电话等。

冷热数据拆散:内核原生反对数据的冷热拆散,业务无需感知底层存储介质的不同,对外提供对立的数据库视图。

冷热数据应用不同的节点 group 存储,节点组外部应用的物理机型配置不同,从而达到冷热拆散节省成本的目标。后盾定时工作依据用户配置的冷热数据规定,主动进行数据迁徙,零碎即可实现主动的冷热拆散,业务无需关怀集群的冷热数据存储状况。此性能目前在公有云版本已有,在私有云目前还未提供。多级容灾性能 TDSQL-A PostgreSQL 版 在多个维度保障集群的容灾能力:

强同步复制:TDSQL-A PostgreSQL 版 反对强同步复制,在节点级保障每个节点的主从数据完全一致,是整个容灾体系的根底,当主节点(Master)故障产生时,数据库可切换到从节点(Slave)提供服务且无任何数据失落。强同步机制要求用户申请产生,从节点写入日志胜利后,才给用户返回胜利,保障主从节点的数据时刻统一。

主从高可用:TDSQL-A PostgreSQL 版 主从高可用计划次要通过每组节点的多正本冗余来实现服务不中断或中断工夫很短,当一组节点的主节点呈现故障不可复原,将主动从对应的备节点中选出新的主节点工作。在主从高可用根底上 TDSQL-A PostgreSQL 版 反对:

故障主动转移:集群中主节点故障时,零碎主动从对应的从节点中选出新的主节点,故障节点主动被集群隔离,基于强同步复制策略,主从切换保障主从数据完全一致,可满足金融级数据一致性要求。故障复原:备节点因磁盘故障导致数据失落时,数据库管理员(DBA)能够通过重做备机来复原备机,可抉择在新的物理节点上增加备机来复原主从备份关系,保障系统可靠性。正本切换:每组主从节点(能够是 1 主 N 从)的每个节点都蕴含残缺的数据正本,DBA 可依据需要进行切换。设置禁止切换:即可设置在某一非凡期间,不解决故障转移。跨可用区部署:主节点和从节点分处于不同机房,数据之间通过专线网络进行实时的数据复制。本地为主节点,近程为从节点,首先拜访本地节点,若本地主节点产生故障或拜访不可达,则近程的从节点升为主节点提供服务。

TDSQL-A PostgreSQL 版 反对基于强同步的高可用计划,主节点故障时将主动选出最优从节点立刻顶替工作,切换过程对用户通明,且不扭转拜访 IP。TDSQL-A PostgreSQL 版 对系统组件反对 7 * 24 小时继续监控,产生故障时,TDSQL-A PostgreSQL 版 将主动重启节点或者隔离节点,从从节点选出新主节点提供服务。

反对全量增量备份:TDSQL-A PostgreSQL 版 反对基于备份在事务一致性的工夫点复原数据,避免误操作带来的数据失落。备份分为全量备份(冷备)和增量备份(xlog 备份)

全量备份:指备份数据库的全副数据(除了运行日志和 xlog 之外),全量备份通常是周期性,如一天、一周或 N 天。增量备份:指增量数据的备份,个别通过 xlog 文件实现,当数据库系统产生新的 xlog 文件后,零碎将 xlog 文件备份到备份服务器上,增量备份通常是实时的行为。当产生事变或劫难后,用户能够利用备份数据来复原零碎。

正文完
 0