关于数据库:分享CUDB-for-OceanBase分布式数据库产品规模应用

50次阅读

共计 2005 个字符,预计需要花费 6 分钟才能阅读完成。

欢送拜访 OceanBase 官网获取更多信息:https://www.oceanbase.com/


本文来自社区分享,仅限交换探讨。原文作者:中国联通软件研究院济南分院 唐素珍、邱永刚。

原文转载自公众号:联通软件研究院(Chinaunicom-Software)

精雕细琢方为器,千锤百炼始成钢。

联通软研院平台架构部数据库研发团队,历时 13 个月实现了对社区版 OceanBase 的优化改良,打造了 ChinaUnicom Database for OceanBase(以下简称 CUDB for OB)分布式 HTAP 数据库产品。保持边用边改、以改促用,使得该产品失去规模利用,获得良好的应用成果。

CUDB for OB 齐全适配了 PKS 体系,完满补齐 CUDB 分布式 HTAP 数据库的空白,为联通云产品体系再添新星。

CUDB for OB 将产品的开明、应用、监控和运维全面接入联通云,实现产品资源的一点开明、一点交付、一点监控、一点运维和一点操作,为联通云租户提供易用而业余的一站式服务。

一、产品个性

(一)高可用

社区版 OceanBase 在可用性方面是三正本能力,但存在监控体系不欠缺、突发异样流量无应答策略、数据误删除复原繁冗及日常操作无治理等问题。数据库研发团队结合实际的生产场景,对全面监控、熔断拦挡、数据恢复、数据自治等能力进行研发实现及加强,用于晋升数据库高可用。

1. 全面监控。

研发了涵盖集群级及利用实例级的监控指标体系,监控指标对接数字化监控平台,实现监控一点可视、告警实时推送。

2. 熔断拦挡。

实际统计生产上数据库相干的故障 80% 是由不标准的 SQL 编码导致,弹性扩缩并不能从根本上解决问题,为此研发了 SQL 语句熔断优化,链接数拦挡性能,保障资源正当调配和业务可用性。

3. 数据恢复。

研发了笼罩全场景的数据恢复核心能力,用于误操作时生产数据疾速复原,全库恢复模式可在 10 钟复原 TB 级数据到任意工夫点,精准恢复模式基于 CLog 解析性能,可按表主键、按表全字段疾速、精准复原 DML 语句的误操作。

4. 数据自治。

对接在主研发的泛数据库自治服务平台 CDAS,笼罩利用的研发态、生产态、日常运维态对数据库的应用场景,使人人都是 DBA。

(二)省资源

为了保障数据库高可用,个别依照流量顶峰进行资源配置,波峰波谷最高差距可达 10 倍,导致资源利用率不高。同时为了高可用又采纳一主两备形式,备机闲置加剧了资源利用率低的问题。因而,数据库团队优化资源应用形式,研发主动弹性扩缩能力,晋升资源利用率。

1. 资源共享。

租户共享资源 ,采纳多租户共享资源池建设模式,租户间共享资源并互相隔离,进步资源利用率; 节点资源平衡利用 ,采纳表平衡散布在每个节点上模式,不再有备节点资源闲置问题,并且能够齐全横向扩容,资源利用率更高; 存储资源高效压缩 ,深度应用数据压缩性能,相比 MySQL 能够 无效节俭 70-90% 存储资源

2. 弹性扩缩。

研发了数据库 租户在线秒级纵向扩缩,TB 数量级小时级横向扩容 能力,实现 利用无感知扩缩容,利用无需为了应答顶峰拜访而冗余大量资源,从而进步资源利用率。

(三)迁徙快

以后,生产上还有很多利用采纳 MySQL 5.5、MySQL 5.6、MySQL 5.7 等版本建设,生产问题时有发生,为了放慢对立技术栈收敛,研发高度兼容 MySQL 多个版本的离线迁徙工具,反对将数据迁徙至 CUDB for OB,实现 10 万条 / s 迁徙速度,已帮忙利用迁徙数据 50TB+。

(四)信创适配

全面适配海光、鲲鹏、飞腾等 CPU,以及麒麟、统信等操作系统,反对全栈信创,保障信息安全,躲避软硬件技术“卡脖子”危险。

二、产品推广状况

2022 年 3 月份上线以来,数据库团队已将 CUDB for OB 产品推广至总部及各省分共 100+ 利用,200+ 天无生产故障(主机宕机 0 影响)。

三、将来瞻望

(一)对立技术栈,外围零碎稳中求进

勇立技术前沿,丰盛开源生态,收敛数据库组件,将来将施行代替 600+ 套 MySQL 等高风险组件,实现新建零碎“能用尽用”,外围零碎稳中求进,逐步推广利用。

(二)能力晋升,试点多核心多活

两地三核心五正本容灾能力解决方案落地实际,异地灾备 / 双活平台架构建设,实现地区级、机房级无损容灾(RTO = 0),撑持 7×24 小时继续服务,满足利用业务能力双活须要。

(三)中心化建设,数据库运维智能化

数据库产品能力建设体系化、中心化,围绕着产品部署、应用、监控、保护等场景,打造产品交付核心、操作核心、数据恢复核心、数据卸载核心、感知核心和运维核心,基于大数据和 AI 能力,实现数据库的自感知、自修复、自优化、自运维、自平安。

(四)奉献开源,自研性能共享共建

秉承拥抱开源、应用开源、奉献开源的准则,将联通自研 OceanBase 数据离线迁徙工具、基于 CLog 的精准记录复原工具等对外开源,独特做好产品生态工具的建设和保护。


欢送拜访 OceanBase 官网获取更多信息:https://www.oceanbase.com/

正文完
 0