国内出名调研机构沙利文联结头豹研究院公布了《2021 年中国分布式数据库市场报告》,报告显示:腾讯云数据库入选 Frost Radar(弗若斯特雷达)领导者象限,增长指数排名第一。为帮忙宽广数据库爱好者进一步理解报告内容,洞察数据库发展趋势,腾讯云数据库邀请沙利文中国高级分析师胡竣杰解读最新报告。以下为解读视频及文字实录:
[https://v.qq.com/x/page/k3339…]()
大家好,我是沙利文高级分析师胡竣杰,我将从四个方面的内容解读沙利文最新公布的 2021 年中国分布式数据库市场报告,别离为:中国分布式数据库的行业综述、分布式数据库技术倒退概览、分布式数据库市场剖析、中国分布式数据库市场竞争态势。
一、中国分布式数据库行业综述
首先是中国分布式数据库的行业综述。数据库作为大多数信息系统的基础设施,向下施展硬件算力,向上反对下层利用,实质上是 IT 行业大厦的地基,也能够说是引擎,更是开发者的必备武器。而数据库的速度、易用性、稳定性、扩展性、老本等对企业的根底业务以及增长弹性至关重要。就在数据库诞生之后,整个应用程序疾速暴发,成为了计算机发展史上的反动。
数据库系统的定义:依照特定的数据结构组织来存储和治理数据的根底软件。
咱们这次报告的主题 分布式数据库,定义是如何用计算机网络将物理上扩散的多个数据库单元连接起来,并组成一个逻辑上对立的数据库。
以后整个数据库行业中有十分多样的数据库分类,本篇报告是从分布式架构的视角登程,多方位关注数据库行业的前沿动向,除了架构模型,报告还会关注到部署模型(比方云部署)、业务负载(比方 HTAP)等方面的倒退。
数据库曾经经验了半个多世纪的倒退,实现了学术界驱动、商业化落地、论文工业实现和企业应用需要驱动等。在技术倒退的阶段,从一开始层面模型,网状模型,关系模型到对象模型,甚至还有半结构化等,数据模型始终都是数据库的外围和实践根底 ,而扎实的实践撑持和逻辑独立性,将来依然将会是数据库的基本。以后 云 + 分布式 曾经成为了企业极限需要的惟一解决方案,并造就了以后数据库行业的暴发期。其实在整个行业周期中,围绕市场的先进产品与技术才具备外围竞争劣势。
以后中国数据库的倒退其实受害于 人口红利,产学研的首要是技术创新,须要一个先进的学术研究体系进行产研联合,也须要严密的产业交换和行业浸透,更须要紧跟时代需要的人才培训体系。
从 学研申请论文的数量 角度来看,中国分布式数据库畛域的论文申请量曾经超过了美国,有顶级学术会议和高校企业形成的中国数据库学术支撑体系,将继续向整个数据库产业翻新和人才培养输送生机。
从 专利申请数量 角度来看,中国分布式数据库相干的专利申请量,从 2012 年的寰球占比 22%,到 2021 年曾经俯冲到 76%。 中国曾经成为了寰球分布式数据库的技术创新核心 ,而北京和广东两地汇集较多的分布式数据库的先进厂商,累计的分布式数据库专利申请量在全国当先。分布式数据库的翻新建设在对数据库技术的钻研和利用积攒,针对分布式数据库的要害板块包含了 分布式计算、负载平衡控制系统、分布式存储 等这些副主题,它们的热度曾经凸显。
二、分布式数据库技术倒退概览
目前分布式数据库的技术路线抉择都是以 解决数据容量扩大问题 为首要指标,次要计划又分为分库分表、中间件、原生分布式等,不同的技术路线及产品各有优劣。
先来看 分库分表加中间件 ,计划其实是由上层的单机数据库提供存储和执行能力,在多个单机数据库上封装了一层中间层来补充分布式能力,对立数据分片规定,治理散布在不同数据库节点的数据,并提供 SQL 解析来申请转发和后果合并。该计划的劣势在于 能够利用现有的成熟稳固的开源数据库实现高性能、低成本和稳定性,用户门槛也低。同时劣势也很显著,能力下限比拟低,然而架构上限比拟高,导致 sharding 的拆分老本较高,底层架构又不具备分布式能力,中间件通信以及单体数据库性能受限,存在显著的扩展性瓶颈。TDSQL MySQL 版就是基于这样的分布式数据库架构实现的。
第二种是 共享存储 的分布式数据库,计划是计算节点独立并且共享一个不带计算性能的存储集群,也叫 shared-storage。数据存储的底层是可动静扩大的分布式高性能存储,存算拆散架构,计算层和存储层都能够实现动静扩缩容。并且这些分布式数据库都会通过网络和存储层的优化来保障高可用和高性能,劣势在于事务性能优、读写性能最快,最大水平晋升了写入容量的限度,劣势在于架构可革新性低,依赖共享存储系统,然而一致性较低。TDSQL- C 就是基于这个版本的。
最初一种是 去中心化 的分布式数据库,计划是每个节点都有独立的计算和存储性能,并且节点之间不共享数据。为了平滑的扩缩容采纳了存算拆散的架构,分布式集群的每个节点都是独立的节点,通过这个 multi-paxos 或者 multi-raft 等共识算法来保障多正本的可用性。劣势在于架构解耦性、高兼容性、高可移植部署性、高一致性和高可用性,劣势在于它有较高的硬件要求,分布式事务锁等机制以至于多写性能低。
接着再看 HTAP 的个性。云时代是由云计算、雾计算、边缘计算来独特形成的基础设施,然而三者又不尽相同。云计算是集中式计算,雾计算具备层次性,边缘计算则是依赖于不形成网络的独自的节点。目前的云数据库都是以云计算为底,并且在继续倒退中,而云计算、雾计算、边缘计算对数据库提出了数据存储管理、计算替换等方面的差异化需要,将来数据库的类型和状态也将一直的演进,以适配不同类型的利用。
数据库上云也呈现出了从 云托管到云原生的倒退 趋势。起初数据库上云借助了基础设施即服务,间接将传统数据库托管在云上,在迁徙上云的过程中须要对性能等做出斗争,存在资源利用率低,保护老本高而可用性低等问题。于是,相比于迁徙数据库上云,在云上建设数据库服务,设计出以根底云后行,从利用、中间件、数据库服务全线适应云特点的云原生数据库尤为重要。
在云原生数据库的实际当中,动静资源池从虚拟机到容器技术都是在细化隔离过程资源,从而实现资源的无效利用,充分发挥云服务的弹性劣势。云原生 Cloud-native,其实是对服务自身的形容,比方数据库作为服务的扩大能力、容错能力、交付能力等。云原生数据库实质也就是利用现有的技术组合来实现云原生需要,这也是 数据库实现 Serverless 的必经之路。
HTAP 是混合事务和剖析解决,是 OLTP 和 OLAP 之间的距离,使散布数据库既能够利用于事务型数据库的场景,又能够利用于剖析类的数据库场景,满足实时业务决策的需要。
HTAP 可能让数据产生后马上进入剖析场景,但它面临的最大问题是 如何将 TP 和 AP 这两类互斥的工作负载放在一个更高的零碎上运行,并且实现资源烦扰小数据可见度高而且延时短。目前 HTAP 又分为两种计划,拆散架构 和对立架构,拆散架构是目前支流计划,趋势中云原生架构环境和 HTAP 零碎的交融,将衍生新的 HTAP 产品计划和技术特色。
三、分布式数据库市场剖析
分布式数据库技术的倒退须要满足时代和市场的需要,回归数据库用户的刚性需要。数据库用户的刚性需要集中在这七点:
第一点是 可控的数据安全。在报告中,数据库安全与加密能力的这一篇章中有提到如何确保链路平安和数据库存储平安。目前的技术有多种,有表加密,传输加密、通明加密,还有全密态技术,全密态又分为纯软和纯硬两个思路,当初提供全密态数据处理有包含腾讯云在内的很多厂商。
第二点是 利用通明的极致高可用。其实这个需要贯通了整个数据库的发展史,高可用的实现形式曾经十分多样,其实就是云部署的方向和分布式架构的倒退,过来是从单点架构到集中式主备,当初曾经实现了云原生化的多主多备的分布式架构,持续去中心化来实现极致的高可用。
第三点是 灵便承载不同业务场景的动静扩大能力和自适应能力,这一点就是后面讲到的 HTAP 技术所解决的外围痛点。
第四点是 性价比高的通用硬件和操作系统,这是刚需。其实分布式数据库就很好地满足了这个需要,通过便宜的 X86 集群来取代低廉的大型机。
第五点是 实现企业级的 SLA 保障,目前很多云数据库厂商曾经可能做到高于 99.99% 的 SLA 达成率。
第六点是 简略易用,目前上云的趋势以及数据库即服务 DBaaS 的产品服务都是为了让终端用户罢黜对数据库的基础设施和架构的懊恼,关注业务利用自身。
第七点是 可能一直革新适应新的硬件构造 ,这里要提到新硬件的倒退,放在当下就是数据库自身是否反对异构计算,比方 ARM 架构等等,是否将算力和存储的资源使用率进步,朝绿色计算倒退。从这个需要因素能够看到,不同行业的数据库用户有不同外围数据业务的特点和需要,同时其所在行业有着各不相同的 IT 监管环境、数据业务复杂性、老本敏感性、IT 能力存储状况等特点。尤其在传统行业,如交通、物流、政务等,过来都是以集中式架构为主,在数字化转型以及分布式架构迁徙打算之上, 目前分布式数据库须要在各个维度上达到集中式架构产品的程度能力在各个场景上施展其性能还有老本劣势。
下图为沙利文依据调研后果制作的 利用落地场景的企业图谱 ,图中展现了来自互联网、电信、交通、物流、电子政务、医疗、制作、能源等行业畛域的提供分布式数据库及衍生服务,并具备肯定当先技术或服务劣势的 中国数据库代表厂商布局态势 ,从图上可看出 中国数据库厂商出现差异化布局 。然而在将来的落地场景格局上, 头部效应 将更加显著,当先的厂商会将笼罩大多数行业,并在不同深度的场景服务上全面布局其分布式数据库的迁徙革新解决方案。
四、中国分布式数据库市场竞争态势
中国分布式数据库的市场竞争态势是整篇报告的重点。沙利文对分布式数据库的 翻新指数评估体系 ,围绕了 分布式架构能力、数据库治理创新能力和云能力 三大一级指标,设立了 14 个二级指标和 78 个三级指标。分布式数据库的增长指数围绕了 兼容性评估、可扩展性评估,开源、产业影响力和行业解决方案 等七大一级指标来设立了 12 个二级指标,99 个三级指标来得出的调研后果。
给大家解读一下 Frost Radar,纵坐标代表了 增长指数,它掂量的是竞争主体在数据库增长维度的竞争力。地位越靠上方,数据库的根底及性能程度、服务生态程度、行业解决方案等积攒程度就越强。而横坐标代表的是 创新能力,掂量的是竞争主体在数据库翻新维度的竞争力。地位越靠右侧,数据库的分布式架构能力、数据库治理创新能力和云能力越强。腾讯云数据库在 2021 年的分布式数据库 Frost Radar 中,入围的是领导者象限,在 2021 年,腾讯云数据库的增长指数的排名第一,在翻新指数上排名第三。
腾讯云自研企业级分布式数据库 TDSQL 从 2007 年就开始外部孵化,源于腾讯金融业务,对内服务了微信领取、腾讯会议等业务。腾讯 2021 年 Q3 财报上显示,TDSQL 服务横跨金融、公共服务和电信等多个垂直畛域,超过 3000 家客户。在产品架构上,TDSQL 提供了事务型、云原生、剖析型等多种产品架构,具备智能运维平台,Serverless 版本等规范对立的产品服务计划,反对了第七次全国人口普查来实现全面电子化。基于沙利文的调研后果,腾讯云 TDSQL 是中国分布式数据库的领导者。