乐趣区

关于数据库:封仲淹OceanBase开源技术生态全景解析

欢送拜访 OceanBase 官网获取更多信息:https://www.oceanbase.com/


3 月 25 日,第一届 OceanBase 开发者大会在北京举办,OceanBase 开源生态资深研发总监封仲淹为大家带来了《OceanBase 开源技术生态全景解析》的分享。

以下为演讲实录:

OceanBase 自 2021 年开源后,继续吸引开发者参加共建,拉近和开发者的间隔,同时,也在一直对接新的生态搭档。明天我想和大家聊聊 OceanBase 开源生态的全景图,以及咱们刚刚公布的 OceanBase 4.1 版本的新性能和产品将来布局。

开源凋谢,与生态搭档共赢

任何一个零碎都不是孤立存在的,而是与上下游协同倒退;任何一个数据库都不能独立服务用户,而是须要为用户提供一整套解决方案,比方利用集成、数据治理、数据迁徙及运维管控等,帮忙用户更流畅地实现数据生命周期中的每一个阶段。

第一,利用集成就是让数据更轻松地生产进去。 明天 OceanBase 在企业版和社区版曾经对接 300+ 套偏利用的零碎。涵盖业务零碎、根底软件、连接池、中间件、ORM、数据驱动、BI 报表、大数据平台,比方 Flink、Spark、MyCat 等。咱们期待更多搭档的退出。

第二,数据治理是帮忙用户更平安地治理数据,包含根底客户端、数据加工、智能诊断、线上运维、平安管控等。 在咱们对接的零碎中,有 OceanBase 开发者核心(OceanBase Developer Center,ODC),有开源的 DBeaver,还有许多商业系统。

第三,数据迁徙是让数据自在地流动起来。 目前对接的零碎中,可能让 MySQL、Oracle、DB2、Elasticsearch、PostgreSQL、Hive、TiDB 的数据流入 OceanBase,也能从 OceanBase 将数据同步到其余数据库中。在这些迁徙的工具中,有 OceanBase 迁徙服务(OceanBase Migration Service,OMS),也有开源的 Flink CDC、Canal、ChunJun 等,还有商业的 Data Pipeline 以及数控工厂等。

而我最想分享的一点是,现在数据迁徙这个市场孕育了大量的商业机会,在 OceanBase 的整个生态中,无论是社区版、企业版还是云上,咱们都违心将商业机会分享给合作伙伴。

第四,运维管控,让用户更轻松地运维 OceanBase。 咱们对接的零碎有 Kubernetes、Grafana、Data Foundatian 等,并期待 OceanBase 被更多的平台集成,2021 年,咱们开源了 ODC,使 OceanBase 被更多大客户如携程、快手等集成,在他们的平台上运维 OceanBase,2023 年咱们打算开源 OCP Express。

下图是 OceanBase 的生态全景图。目前咱们曾经有 400+ 生态系统(详细信息可在 GitHub 理解),包含大数据业务中台、数据管理平台、测试零碎等,咱们冀望与更多的生态系统进行链接。并共享商业机会,实现生态共赢。

及时响应,与开发者独特成长

与生态搭档等同重要的是用户与开发者,咱们想打造一个及时响应的社区,更疾速地帮忙用户解决问题,并和用户一起成长。当下,咱们的钉钉用户答疑群每天有 300+ 条的日音讯量,社区问答论坛每月积淀 1500+ 条帖子,用户的踊跃反馈帮忙 OceanBase 更快地迭代,以及积淀大量文档和解决方案。

另外,从 2022 年的云栖大会开始,咱们投入了大量的资源向开发者歪斜,并安顿多人进行值班。相比去年,往年咱们对 Issue 的首次响应工夫快了四分之一,Issue 数量也大幅增长。更为要害的是,企业版研发分支和社区版的研发分支进行了合并,因而,代码提交频率及贡献者数量也有了显著减少。

在与用户的沟通频率方面,因为一些环境起因,过来两年很多线下交流活动无奈举办,往年起,咱们会加大线下交换频率,与用户零距离沟通。同时,心愿与上下游搭档联结发声,独特做一些事。

继续响应,4.1 版本新性能

最近,咱们公布了 OceanBase 4.1 版本。较之前版本实现了更多场景反对、稳定性强化、上手更容易、性价比晋升。

▋ 更多场景反对

咱们明确提出了单机状态,并减少旁路导入性能、提供 OEKV、多模(GIS/LOB)能力。

已经有一位客户,130 TB 的数据用了七天才迁徙完,在迁徙过程中咱们的反对团队也十分苦楚。因而,OceanBase 4.1 实现了旁路导入,绕过 SQL 引擎、事务引擎,从解析器将数据写到存储引擎的文件上,性能晋升了 7 倍左右。

之所以提供 OBKV 的能力,是因为一些客户应用 HBase,但不想装置 Hadoop 那套比拟大的组件。一些用户是在要害场景中应用 HBase 胆怯 Jave 的 JC,导致业务抖动。还有一些用户在数据库畛域应用 Redis,并且将 Redis 作为一个长久化的数据库应用,这会存在很多问题。OBKV 的能力凋谢后,用户能够通过 OBKV 的 API 层并绕过 SQL 层间接拜访事务层,性能失去大幅晋升。咱们也在和生态用户单干,尝试撑持 Redis 模型。

OceanBase 4.1 对 GIS/LOB 的反对,也使其不再局限于过来的 48 MB,现在这个限度晋升到了 512 MB。

此外,为了晋升兼容性,OceanBase 4.1 还提供了拉丁字符集的反对,强化了与 MySQL 8.0 的兼容性。

▋ 稳定性加强

OceanBase 4.1 凋谢了基于 NFS 和 OSS 的主备库性能,便于零碎做主从集群或异地多活,并且实现了 SQL 辨认的隔离和租户的线程池优化。在稳定性之下,OceanBase 的应用性也失去了大幅晋升。

首先是 白屏化装置 ,升高了用户的装置难度;其次是 集成 OCP Express,使运维更轻量化;而后是 日志优化,过来所有研发的日志全副混在一起,当初研发日志被拆分,晋升了高可用。

咱们有一位海内游戏厂商客户,过来基本上应用 16C128G 的单机数据库,以至于他的业务零碎存在大量危险和扩展性问题。这位客户将零碎替换为 OceanBase 4.1 后,能够将单机变成分布式,而后实现一个集群以保证系统的高可用,当他须要跨域或跨机房的时候,能够用主备库的形式实现整个集群的高可用。

▋ 上手更容易

坦白讲,装置部署是咱们被吐槽得十分狠的一方面,比方集群装置失败、OCP 装置失败、监管失败等,咱们在 OceanBase 4.1 中针对这些问题做了十分多的优化。

首先,简化装置流程。用户只须要敲一个 OBD Web 就能够启动白屏化装置流程,并且装置界面十分简洁明了;其次,让用户灵便抉择,提供齐全部署和精简部署,以供用户最大化地应用集群资源部署或用最节俭资源的形式部署;最初,在整个装置的过程中,屡次 check,让整个装置部署过程变得更加智能。

此外,本次公布的 OCP Express 是积淀多年的 OCP 管控零碎的轻量版,可能间接集成到零碎中提供外围管控性能(不降性能只降资源,六个利用场景带你理解 OCP Express)。过来,OCP 的装置时长通常以天计,而 OCP Express 是以分钟计,这背地还有一个更大的逻辑,就是咱们冀望 OCP Express 可能更好地被生态搭档集成到管控零碎。

▋ 性价比晋升

在 OceanBase 4.1 中,OLTP 性能较之前晋升了 40%,OLAP 的性能晋升了 17%。在性能晋升背地,有 OBProxy 路由优化、大事务优化、算子优化、小表存储优化等等。

后续咱们会继续晋升 TP 和 AP 的性能。

TP 方向的指标是小规格赶超 MySQL,目前在 Sysbeach 测试中,OceanBase 的体现超过了 MySQL,但咱们冀望在用户的实在场景中,也能让用户感知到小规格 OceanBase 比 MySQL 更快。

在 AP 方向,咱们会做大量的继续优化:比方冷热拆散,将冷数据存到 OSS 上,热数据保留在本地的磁盘中;再比方只读表面,许多客户心愿可能只读取内部的数据。在此能够向大家走漏一点,咱们会在 4.2 版本或 4.3 版本尝试实现 Auto DOP。

生态共建,社区版将来布局

对于 OceanBase 社区版的将来,咱们目前有四方面的布局。

第一,助力生态倒退。 咱们打算在六月份开源 MySQL Blog Service,使业界更多的零碎可能间接复用,甚至能够实现一些高可用场景,比方异地多活,一边是 OceanBase,一边是 MySQL,满足热备切换或实时同步等需要。

第二,开源 OCP Express。 让 OceanBase 可能被更多大客户的平台集成,甚至将 OCP Express 的代码抽取后集成到客户的管控零碎中,帮忙生态管控工具更好地治理 OceanBase。

第三,开源 ODC。 ODC 曾经在金融、运营商、电商、政务、能源等行业的商业用户场景中应用,让用户更好地进行数据库的协同开发,进步开发效率,以及做好数据的导入、导出、诊断、平安治理等。咱们打算在六月份将其开源,更好地服务社区用户。

第四,强化内核。 除了继续优化 TP 和 AP 能力外,咱们打算在 4.4 版本中全面兼容 MySQL 8.0。目前咱们在每三个月的公布版本中,都会做大量的 MySQL 性能兼容。咱们也冀望凋谢更多的性能,实现内核共建。

最初,心愿更多搭档退出 OceanBase 的生态共建营垒,咱们将向合作伙伴分享开源及云的商业机会。同时,做好社区共建,及时响应用户,继续交换独特成长。


欢送拜访 OceanBase 官网获取更多信息:https://www.oceanbase.com/

退出移动版