关于oceanbase:首届OceanBase开发者大会|NineData首席架构师谭宇受邀参会并发表了主题演讲

40次阅读

共计 3069 个字符,预计需要花费 8 分钟才能阅读完成。

2023 年 3 月 25 日,首届 OceanBase 开发者大会在北京举办。NineData 的首席架构师谭宇(茂七)受邀加入 OceanBase 数据管理与服务技术专场,发表了《NineData 多云数据管理》主题演讲。谭宇示意:作为已经 OceanBase 开创团队成员,做过内核开发、平台,还开辟过客户,算是“样样都干”。尽管来到了 OceanBase 团队,但依然为 OceanBase 获得的问题感到自豪。明天,咱们看到做一个数据库内核很难,然而要把数据库建成一个生态能够说更难。目前 NineData 所做的工作,可能帮忙大家更好地用好 OceanBase、用好数据库。

NineData 的首席架构师谭宇(茂七)整体介绍次要会分享以下几个内容:一是介绍一下玖章算术团队和 NineData 多云数据管理平台的整体状况;二是着重介绍一下咱们在数据复制方面的一些工作;最初是咱们对多云数据管理平台,将来的一点认识和对多云应用的一些倡议。研发团队先来简略的看一下 NineData 团队的根本状况。

NineData 团队根本状况 NineData 团队次要来自阿里云数据库团队,创始人叶正盛、花名斗佛大家可能都意识,已经负责阿里云数据库产品与解决方案事业部总经理,也就是负责整个阿里云数据库产品体系的打造以及相干解决方案的制订,并研发了 DTS/DMS/DBS/DAS 等多款云原生数据产品。在做这些产品的过程中,咱们其实就始终在思考一个问题,就是这一类产品应该在云厂商做还是该由独立的厂商来做,最初咱们感觉如果处于一个第三方中立的立场上可能将这类产品做得更好,所以在 2021 年 11 月份的时候斗佛创建了玖章算术,通过一年的打磨,推出了 SQL 开发、数据复制、数据备份和数据比照四款产品,推出后取得了业界的一些奖项,也是对咱们在这个畛域的粗浅认知的必定。

NineData 产品整体概览这是咱们产品的一个整体概览,先来看这个图的最底层,有两个关键点,一是“多云或多基础设施反对”,不论是阿里云、华为云、AWS 还是自建 IDC,咱们都能够提供反对。另一个是“多数据库类型反对”,明天企业都会应用很多种数据库来加工和解决数据。对于“多云和多源”的反对是咱们的外围竞争力之一。NineData 产品能力而后再来具体看咱们的产品。最上层是 SQL 开发,它负责的是 DataBase DevOPS,次要解决团队之间的协同开发效率与数据安全的问题。上面是数据复制和数据比照两个性能,次要是两个方面的考量,一方面是数据要流动、散发能力产生价值,另一方面是数据流动也常常引起数据不统一或数据品质相干的问题。最上面是数据备份,在数据作为企业最重要的资产之一的明天,如何做好备份以及将备份这种较冷的数据利用起来也是一个十分重要的课题。为什么做这四个产品,一方面当然是出于咱们之前的教训,另一个方面也是咱们看到了有问题须要解决。云计算催生了数字化,所以每个企业都在朝科技企业转变,对云和数据的使用就显得至关重要,特地是随着多云和多数据源的采纳,要应用好云和数据是一件十分有挑战的事件。

NineData 多云数据管理平台建设背景第一个是开发效率、业务稳定性与数据安全方面的挑战,有报告表明,开发效率高的企业其营收增长和翻新速度均远高于业界平均水平。开发同学不操作线上数据库会导致效率问题,操作线上数据库则产生稳定性与数据安全方面的问题。第二个是数据散发方面的挑战,既然应用了多种数据库类型来解决数据,数据就须要流动起来,然而多云和多源同时也妨碍了数据散发。最初是数据保护和数据品质方面的挑战,如何确保数据失去了无效的爱护?如何保证数据在流动后还能保持一致?NineData 利用场景从这些问题登程,咱们构建了 NineData 多云数据管理平台,整体利用场景是这样:

NineData 数据管理场景其中 SQL 开发模块治理的是协同流程,次要是从日常环境到线上环境的数据库变更与平安操作线上数据库。数据备份专一于爱护外围的数据资产,而数据复制则用于各个环境、上下游零碎、不同业务之间的数据散发与同步。数据比照则保障所有环节的数据一致性。数据复制:技术解读理解了场景之后,接下来深刻的看一下数据复制这个产品。咱们把数据复制定义为数据流动的基础设施,一般来说数据复制会有这几种场景:

NineData 数据流动的基础设施一是业务之间或上下游之间的数据流动,比方 TP 到 AP、数据库到搜索引擎、音讯零碎等。二是不同厂商之间的数据流动,比方咱们访问过的很多客户,不论是出于议价或用云所长等起因都在逐渐走向多云。三是跨境的数据流动,这个比常见比方跨境电商、出海企业都有数据归集剖析的需要。从这三种典型的场景,咱们能够总结数据复制面临的几个艰难:

数据复制面临艰难 NineData 很好的解决了这些难点,并造成了两大根底能力与五大产品劣势:

NineData 数据复制能力及劣势接下来我会着重解说一下咱们的多云互通架构与产品劣势。

多云互通架构与产品劣势 NineData 的架构充分利用了获取云资源的便利性与弹性。通过将零碎中必须要事后存在的节点和能够动静拉起的节点离开,咱们造成了核心管制节点与单元节点拆散的架构,只事后拉起核心节点以节俭资源和老本,当有用户工作过去的时候,零碎会主动购买与用户数据库雷同 Region 的资源并拉起服务,同时会继续关注任务量来进行主动伸缩。在网络的解决方面,NineData 反对私网连贯、网关模式以及专属模式供不同的用户进行抉择。通过奇妙的架构设计与精密的网络解决,咱们当初曾经能够联通绝大多数支流的云厂商以及自建机房。数据复制:外围劣势接下来是咱们的几个外围劣势:一是欠缺的预查看机制。因为多云和多源的复杂性,有十分多的因素会导致数据复制失败,咱们查看影响工作的每个方面并一次性给出查看后果与解决计划,能够极大的晋升后续工作成功率。

NineData 欠缺的预查看机制二是齐备的构造同步。NineData 自研了十分残缺的 SQL 解析器,比市面上开源的计划都要精密得多,比方在咱们结构的 400 个 case 中,最好的开源 SQL 解析器也只能解决其中的 350 条。

齐备的构造同步三是高性能全量同步,不论是大表、小表、空洞表还是联结主键表,NineData 都能够无效地进行并发复制。

高性能全量同步四是反对双向实时增量同步,用户通过这个性能能够构建非常灵活的业务容灾架构,在 DDL、数据策略上都有十分精细化的解决。

反对双向实时增量同步五是有成熟的异样解决机制,包含秒级监控、限流爱护、异样数据处理等,这对于一个长期运行的链路是必不可少的。

有成熟的异样解决机制数据复制:劣势与价值最初总结一下 NineData 数据复制的劣势与价值。

NineData 数据复制的劣势与价值咱们心愿无论你的数据在哪里,寄存在什么样的数据库中,NineData 的数据复制都能够在任意的工夫以实时的形式进行流动。多云数据管理平台的瞻望在做 NineData 多云数据复制的过程中,秉持着让每个人用好数据和云的使命,咱们对多云和数据应用也有一些深刻的思考。

NineData 多云数据管理平台的瞻望一方面多云和多源仍将深入,每个企业都要为此做好筹备。另一方面 AI 正在大规模地开释生产力,NineData(https://www.ninedata.cloud)也在这些方面做了很多摸索并上线了局部 AI 的能力。最初,是数据安全与数据价值,咱们也在这些方面进行继续的摸索,心愿可能帮忙到大家。玖章算术将通过继续的翻新,以客户需要以及市场为导向,为开发者提供智能、高效、平安的数据管理体验,让每个人用好数据和云。

正文完
 0