关于数据库:TDSQL演进与突破把企业级分布式数据库做到极致

11次阅读

共计 3907 个字符,预计需要花费 10 分钟才能阅读完成。

数据库是旧市场,也是新市场,是一个既成熟又有新机遇的战场。

举些例子:

第七次全国人口普查:750 万终端、十亿级数据,实时入库、实时统计、实时剖析,这是对系统极致弹性、大并发计算以及间断稳固的挑战。

衰弱码:覆盖全国 10 亿人口以上,上线 3 个月即累计亮码 200 亿次,考验的是系统对极速流量突增场景的应答。

安全银行信用卡新一代外围零碎上线,是行业首例银行外围零碎数据库从传统集中式大型机下移至国产分布式架构的案例,突破数十年国外商业数据库的垄断。

这些场景,对传统集中式数据库提出了极大地挑战。当传统技术架构逐步难以满足产业互联网时代的需要,转型降级是必然的趋势抉择。

云计算技术作为以后企业 IT 架构的不二之选,已走过摸索实际阶段,迎来了多样化、规模化的倒退期间。同时,随着国家对数据库等根底技术设施平安主可控要求越来越明确,国产化替换成为国家策略。在技术升级和国产代替双重驱动下,国产数据库取得了前所未有的历史新机遇。

面对历史新机遇,根底技术创新要如何为产业带来新的能力驱动,在 2021 腾讯数字生态大会上,腾讯云数据库技术负责人潘安群,围绕“将企业级分布式数据库做到极致”的主题,分享了腾讯云数据库 TDSQL 的一些工作和思考。

云时代数据库技术趋势

首先随着云计算的倒退,整个 IT 根底技术产生了天翻地覆的变动:

1.IT 设施从零散走向集中化、规模化 。过来,每一个企业自建各自的数据中心等 IT 基础设施,包含服务器、网络到操作系统、数据库等,造成企业市场上零散化的 IT 设施模式。而明天基于云计算服务,企业 IT 设施出现集中化、规模化效应,对效率、性能、老本的要求晋升。

2. 交付形式从软件交付走向服务交付 。过来购买商业化软件,或者是应用开源软件产品,根本是通过商业化或开源的形式进行散发,而当初齐全变成一个个服务的模式进行交付。这带来的变动是,用户不须要再盘算该购买几台服务器,而是在具备数据库应用需要时,间接云上应用即可,企业 IT 人员不再须要本人去保护这些数据库软件。

3. 开发方式从底层(IaaS+PaaS)走向下层(SaaS)。 即出现从过来业务进行十分底层的开发以及调用底层 API 等操作的模式,转向 SaaS 化、Serverless 模式的服务。在云上,开发者能够应用各种各样的 SaaS 服务。无论从效率、根底技术能力等方面来说,这都是一个微小的变动。

4. 数据模式及利用场景从单一化走向多样化。 过来传统行业,比方金融行业,最外围是记账、结算,业务模式比较简单,但当初金融行业所面临的是要做互联网化、数字化的全面降级,包含各行各业都在做数字化降级,数据模式曾经不再是过来传统数据库那样简略的模式,而是数据状态、拜访模式等会越来越多样化。

基于这样的变动,咱们认为将来的数据库应该是:单引擎极致化,加多引擎自治交融的 DBaaS 服务。那么具体表现为:

繁多引擎极致化。垂直场景在云上的规模化,使得咱们必须将单引擎做到极致,能力进一步放大规模效应。

多引擎对立智能交融。而业务状态的多样化,繁多数据库包打天下的时代曾经过来,多引擎化成为必然趋势。当然咱们不心愿让用户陷入抉择,咱们心愿对客户来说,多即是一。如何做到多即是一,如何做到在超大规模数据库集群的一体化,智能化是决定这场改革成败的关键因素。

DBaaS 交付。基于多引擎智能交融,做到服务即交付,即交付给客户的是一套残缺数据库服务,而不是一堆软件。这是咱们在企业级市场的理念。在以上理念下,往年 TDSQL 产品多个引擎继续实现了相应的冲破。**

产品演进的驱动力

“国产化 + 数据暴发 + 复杂度晋升”是数据库行业底层驱动力。随着金融政企技术系统对国产化、数字化革新降级的需要减速,国产企业级分布式数据库单引擎极致能力次要受到金融级外围零碎利用能力、疾速安稳“去 O”、新形互联网业务转型等需要和挑战驱动,实现技术冲破。

首先,总结而言,数字化时代金融、政务、互联网、电商等企业对分布式数据库的利用需要体现在以下 4 个方面:

1. 反对稳态业务的外围利用能力需要继续加强:体现为须要数据库系统在高可用、强统一、稳固牢靠的根底上,同时实现高性能、高可扩大,满足业务稳固、疾速倒退过程中对根底技术要求。与此同时,外围利用关系企业零碎最外围的交易,革新起来工夫长、投入大,对国产数据库的技术以及服务能力要求进一步提高。

2. 安稳疾速“去 O”:除了外围利用,金融政企零碎中还有大量周边零碎或者次外围利用,这些外围利用往往有几百上千套零碎,因为历史起因须要短期之内疾速“去 O”,并基于国产分布式数据库疾速上线,如第一个月上线 10 个零碎、第二个月上线 20 个零碎……疾速实现“去 O”的场景需要,要求国产数据库产品对 Oracle 兼容具备极高的兼容能力,并能做到高可用、强统一。

3. 主动弹性扩缩容、应答敏态业务需要加大:业务在进行数字化转型过程中,场景化、线上化是大势所趋,这意味着技术零碎中的数据吞吐量、业务状态、数据拜访和计算管控等也将随之产生巨大变化,变得更加麻利、多样化,即面临更多的不可预知性,对底层技术零碎在灵活性与扩展性方面提出全新的要求。

4. 海量数据简单剖析场景需要加大:在数字化业务的交融降级中,数据处理的规模大幅增长,对解决的实时性和效率有更高要求,因而亟需实现对海量数据的简单剖析、实时计算解决能力。

产品外围能力演进和冲破

针对上述场景需要和挑战,TDSQL 从不同利用场景匹配不同引擎,为客户提供交融对立的产品服务,以及从前端治理到底层对立的智能管控体系。

1. 金融级外围交易 OLTP 引擎

金融级分布式 OLTP 引擎是 TDSQL 主打个性体现在强统一、高可用、分布式事务、兼容性等方面,可实现“两地三核心、多地多核心”高可用灵便部署架构的产品引擎,它在跨数据中心强同步复制机制下可实现“RTO < 30S、RPO=0”,同时在高性能根底上放弃全局一致性。本次引擎全新降级,将为用户带来全局索引、视图、执行打算绑定、计算下推等能力降级,实现零碎性能晋升 50%。

金融级 OLTP 引擎是以后大部分 TDSQL 银行外围零碎用户所采纳的引擎,具备产品成熟度高、分布式事务能力级别达到行业最高等个性。在互联网银行、区域性银行以及股份制银行、国有大行等畛域都有胜利案例。

2.TDSQL 金融级 HTAP 引擎 (Oracle 兼容)

本次大会,咱们也面向行业全新公布 TDSQL 金融级 HTAP 引擎(Oracle 兼容版)。这款引擎在保险、运营商等行业兼容度高达 98% 以上,同时在数据的一致性、高可用方面也齐全满足金融行业的要求,能够帮忙金融机构在极短时间内,简直零老本革新的状况下,实现国产化。

3.TDSQL 全自研新敏态引擎

这也是本次 TDSQL 带来的全新重磅公布。TDSQL 新敏态引擎 100% 兼容 MySQL,计算 / 存储资源均可独立全透明弹性扩缩容,实现了 PB 级存储的 Online DDL;计算层每个节点均可读写,轻松撑持千万级 QPS 流量,能够有效应对业务的变动。针对海量数据存储的场景,实现最高最高 20 倍压缩率的超高压缩比存储能力,大幅节俭资源老本。

更要害的是,其独有的数据状态主动感知个性,能够实现数据库全域智能化自适应调度,可能依据业务负载状况主动迁徙,打散热点,升高分布式事务比例,取得极致的扩展性和性能。

与此同时,TDSQL 新敏态引擎具备对分布式事务残缺反对的个性,撑持了下层计算引擎多主读写架构的实现,并与计算引擎联合实现了计算下推、分布式事务一阶段优化等多纬度优化,进一步实现分布式数据库系统性能极致晋升,无效适配企业新敏态业务需要。

在腾讯外部业务实际中,TDSQL 新敏态引擎可撑持业务在放弃高性能且间断服务的根底上,一个月内实现了高达 1000 次表构造在线变更。

4.TDSQL-A 剖析型引擎

往年 5 月份咱们公布了剖析引擎 TDSQL-A,明天将迎来再次的全面降级。咱们在架构上实现了计算与转发双立体的根底上,全新自研了列式存储引擎,搭配全新的智能执行引擎,向量化执行性能有 10 倍以上的晋升,同时凭借业界独有的分布式提早物化技术,大幅优化了分布式场景下关联查问的计算效率,能够帮忙客户进一步开掘数据价值。

5. 智能对立管控

腾讯云数据库智能对立管控平台,可让数据在不同引擎之间自在流动,更好地反对业务疾速倒退。具体包含:

(1)以超过 769 个接口能力,支持系统实现不同利用场景灵便调用、一键经营;

(2)实现 90% 常见故障秒级诊断及 SQL 优化建说议的智能运维体系,大幅升高零碎运维复杂度;

(3)基于多源同步工具,实现多引擎数据秒级同步,对业务屏蔽引擎差别;

(4)实现插件式负载平衡治理,进一步晋升可用性。目前反对 F5、LVS、TGW、VPCGW 等多种……

TDSQL 利用场景冲破

目前,TDSQL 已服务近半国内 TOP20 银行,TOP10 银行中服务比例也高达 60%。同时,TDSQL 在不同金融机构外围零碎中的渗透率显著晋升,如金融外围零碎客户超过 20 家,率先实现行业冲破,包含安全银行、张家港农商行、昆山农商行等银行、保险、券商机构。

而在电信运营商等行业场景,腾讯云数据库 TDSQL 也实现了率先冲破,如在 2021 年中标某省挪动外围零碎从传统集中式大型机系列下移至国产数据库我的项目,是行业首家运营商外围零碎数据库分布式国产化革新我的项目。

无论是在银行还是保险、政务等行业,TDSQL 在要害畛域的标杆头部客户已具备丰盛的胜利案例实际。

基于大量大规模银行外围零碎利用实际,TDSQL 一路走来经验了最严苛的考验。咱们认为,国产数据库行将进入规模化的阶段,咱们心愿将来五年可能为 1000 家金融机构实现外围零碎数据库国产化革新降级,也心愿宽广合作伙伴与咱们一起实现这个国产数据库的长期事业。

正文完
 0