关于时序数据库:openGemini正式加入openEuler-DB-SIG携手开展全方面技术创新

53次阅读

共计 2615 个字符,预计需要花费 7 分钟才能阅读完成。

2023 年 2 月,openGemini 正式申请加入 openEuler DB SIG,现已实现对 openEuler 的各项兼容性测试,并打算退出 openEuler 23.03 版本。

openGemini 可在物联网、嵌入式、边缘计算、运维监控(AIOps)等畛域与 openEuler 社区开展单干,充沛利用自身技术竞争劣势,加强 openEuler 社区的影响力和竞争力的同时,一直开掘新的时机和技术创新点,进一步晋升 openGemini 的技术实力和社区品牌知名度。

我的项目地址
https://github.com/openGemini
https://gitee.com/src-openeuler/openGemini
援用
我的项目官网
http://opengemini.org

openGemini 简介

openGemini 是由华为云数据库翻新实验室自行设计、研发并面向寰球开源的一款云原生分布式时序数据库。次要面向物联网和运维监控等场景,提供海量时序数据库解决和剖析的开源解决方案,以进一步升高企业经营和运维老本,晋升产品质量和生产效率。

openGemini 倒退历程

如图所示,openGemini 经验了最后由 InfluxDB 革新的技术摸索,到云服务商用、自研内核加强和开源等多个阶段的倒退,禁受住了华为云内外部 100 余家用户不同业务场景的打磨和测验,现已凋谢全副外围源码,全面拥抱开源,打造共享、共治、共建的开发社区,构建寰球技术生态和影响力。

openGemini 的架构

openGemini 采纳 MPP 大规模并行处理分层架构,由 ts-sql、ts-store、ts-meta 组成。

  • ts-sql:对立解决客户端申请
    数据依照工夫线一致性 Hash 形式打散存储在不同的 ts-store 中,在查问语句执行期间,从 ts-store 获取数据并汇总,并返回客户端
  • ts-meta:对立元数据管理
    数据库集群元数据和数据库元数据管理,如节点信息、数据保留工夫、数据分区信息、表信息等
  • ts-store:对立数据管理
    将原始数据按时序优化的数据格式进行对立组织和存储,查问时,按指定工夫范畴和工夫线 ID 查问数据,并依据过滤条件,返回指标数据

openGemini 的外围竞争力

openGemini 开源后继续版本迭代,现已公布 v1.0.0 版本,在高性能、高平安、企业级个性、可扩展性、性能、利用开发等六个方面已全面具备生产环境可应用的残缺能力。

高性能
openGemini 针对物联网、运维监控等畛域海量数据管理和剖析诉求,对计算引擎和存储引擎做了大量的优化设计,获得了显著成果。

  • 反对亿级指标治理
  • 每秒千万级指标数据并发写入
  • 查问万级指标数据毫秒级响应

在 30 万指标,259 亿条指标测试数据的场景下,采纳 TSBS 性能测试工具,相比开源的单机版 InfluxDB v1.7,openGemini 单机版写入性能晋升 5 倍,简略查问晋升 2-5 倍,简单查问响应工夫缩短 60 倍以上。

高平安
openGemini 反对数据传输加密和用户明码鉴权,反对用户弱明码校验和审计日志。此外,openGemini 集群的各组件之间通信可配置 HTTPS 双向认证(Mutual TLS),确保每一个链接都是可信的。

企业级个性
openGemini 具备丰盛的企业级个性,局部要害个性如下:

  • 高效数据压缩
    采纳列式数据存储,不同数据类型对应不同的数据压缩算法,可反对 PB 级指标数据的长期数据存储。存储老本是传统关系型数据库 1/20,是 NoSQL 的 1/10
  • 反对数据保留策略
    数据过期后主动删除
  • 反对写前日志(WAL)
    设施掉电后,缓存数据不失落
  • 流计算
    当数据量较大时,传统降采样工作形式对磁盘 I/O 耗费过大,I/O 放大也很重大。可通过流式计算,写入数据的同时实现数据降采样,该办法具备高性能、网络开销小的长处
  • 数据分级存储
    联合时序数据特点,数据按热、温、冷多级存储,进一步晋升查问性能
  • 内核运行状态可观测
    提供了开源监控工具 ts-monitor,可采集 260 余种内核和服务器要害监控指标,更好的察看零碎的运行状况,疾速排查、定位和解决问题
  • 多级降采样
    可针对不同工夫范畴的历史数据进行不同形式的降采样,保留历史数据的特色,原地删除其余历史数据,节约存储空间 50%,计算资源节约 90%
  • 向量化
    充分利用架构的并行处理劣势,每次迭代批量返回数据,大数据量下查问性能更好
  • 异样检测和预测
    内置基于 AI 的时序异样检测和预测剖析框架,具备流批一体、重大水平分级等多项能力,反对每秒万级实时指标数据并发检测,内含 13 种异样检测器,可笼罩常见的离群点、数值变动、阈值、持续上升降落等常见时序异样场景

可扩展性
openGemini 集群由 ts-sql、ts-store、ts-meta 组成,反对繁多组件独立横向扩大,可反对 100 + 节点的集群规模。

性能
openGemini 提供丰盛的聚合算子(如 COUNT、SUM、MAX 等)、统计分析算子(如 PERCENTILE 分位数、DIFFERENCE 等)、算术剖析算子(如 ABS、LN 等)、Full Join、近似统计算子以及字符串算子(如 SUBSTR、STR 等)共 60 + 个。此外,还反对秒、毫秒、纳秒等多种工夫精度以及 TAG(分组查问)和嵌套查问。

利用开发(技术生态)

如图所示,在时序大数据处理方面,openGemini 已初步实现对数据接入、数据存储、数据可视化、数据分析、数据迁徙等各环节要害能力构建和技术生态对接。

在云原生方面,openGemini 已反对 K8s、KubeEdge 容器化部署,正在踊跃和 KubeEdge 社区进行联结翻新。

在底层操作系统方面,openGemini 反对支流的 Linux 零碎和 x86、arm64 等架构。

在利用开发方面,反对 C/C++、Java、JavaScript、Ruby、GO、Python、PHP 等支流的开发语言。

总结

openGemini 具备卓越的读写性能和高效的数据分析能力,反对单机和集群,部署形式多样,可边缘、可云、可物理机部署,反对支流开发语言,二进制运行,无第三方组件依赖,带有 260 + 项零碎运行指标监控,运维简略。

独木难成林,百川聚江海。openGemini 与 openEuler 独特携手,单方将在 IoT、AIOps、嵌入式、边缘计算等畛域深入技术解决方案集成,发展线上开源合作和线下社区互动等方面单干,致力为寰球开发者提供一流的行业解决方案。

理解更多 openGemini 征询,欢送关注 openGemini 公众号。

正文完
 0