共计 2649 个字符,预计需要花费 7 分钟才能阅读完成。
欢送拜访 OceanBase 官网获取更多信息:https://www.oceanbase.com/
CeresDB 是一款领有计算存储拆散架构的分布式时序数据库,其存储层能够基于 OceanBase KV、OSS 等。通过近一年的开源研发工作,CeresDB 1.0 现已正式公布,达到生产可用规范。
CeresDB 团队曾经在时序数据畛域进行了 5 年的深耕。然而随着在畛域内钻研的深刻以及用户场景的逐步复杂化,咱们发现了若干传统时序数据库尚未很好解决的一些技术问题,比方:
- 高效解决高基数 Tag 组合(工夫线膨胀问题)与剖析型工作负载
- 古代且齐备的分布式技术计划
- 云原生与计算存储拆散
因而,CeresDB 开源我的项目发动之初,咱们就将其定义为下一代的云原生时序数据库。心愿它能同时较好反对传统工夫序列工作负载(timeseries workload)与剖析型工作负载(analytic workload),并且能领有一个古代的云原生分布式技术架构,反对从简略的单节点到宏大分布式集群等各种部署场景。
这样的设计指标,也间接决定了咱们过来一年在研发 CeresDB 1.0 过程中次要的精力投入方向。目前,随着 CeresDB 1.0 的正式公布,咱们认为以上问题均失去了根本的解决。
CeresDB 1.0 外围个性介绍
▋ 存储引擎
- 反对列式混合存储
- 高效 XOR 过滤器
▋ 云原生分布式
- 实现了计算存储拆散(反对 OSS 作为数据存储,WAL 实现反对 OBKV、Kafka)
- 反对 HASH 分区表
▋ 部署与运维
- 反对单机部署
- 反对分布式集群部署
- 反对 Prometheus + Grafana 搭建自监控
▋ 读写协定
- 反对 SQL 查问与写入
- 实现了 CeresDB 内置高性能读写协定,提供多语言 SDK
- 反对 Prometheus,能够作为 Prometheus 的 remote storage 进行应用
▋ 多语言读写 SDK
实现了四种语言的客户端 SDK:Java、Python、Go、Rust
核心技术计划
这里简略介绍一下 CeresDB 在过来一年投入的几个重点方向的技术计划,因为篇幅限度,这里仅作简要阐明。
▋ 存储引擎摸索
经典时序模型会应用倒排索引的形式对数据进行组织。然而在某些场景如短生命周期 pod 监控、业务数据监控等,会产生高基数工夫线,进而导致倒排索引收缩问题,写入查问性能会急剧变差。
- 写入时因为索引的复杂性高,写入耗时变高
- 查问时因为索引的有效性低,查问耗时变高
下图为经典时序模型的示意图:
为了解决高基数的问题,CeresDB 受 InfluxDB IOx 以及各类剖析型数据库的启发,采纳以下形式对时序数据进行组织来实现存储和查问:
- 列式存储 + 混合存储
- 分区扫描 + 剪枝 + 高效 fitler
下图展现了 CeresDB 外部的数据组织模式:
▋ 分布式计划
CeresDB 采纳存储计算拆散架构,如下图所示。CeresDB 实例自身能够不存储任何数据,在此基础上能够较好实现要害的几项分布式个性,比方:计算存储弹性扩缩容、服务高可用和负载平衡等等。
CeresDB 分布式集群次要由以下局部组成:
CeresMeta Cluster:集群的元数据中心,负责集群的整体调度;
CeresDB:一个 CeresDB 实例, 负责时序数据组织与存储;
WAL Service(内部):WAL 服务,在集群计划中,用于存储实时写入的数据;
Object Storage(内部):对象存储服务,用于存储从 memtable 生成的 SST 文件。
具体的集群计划能够参看官网文档:https://docs.ceresdb.io/cn/design/clustering.html
性能优化与试验后果
CeresDB 组合应用了列式混合存储、数据分区、剪枝、高效扫描等技术,解决海量工夫线(high cardinality)下写入查问性能变差的问题。
▋ 写入优化
CeresDB 采纳类 LSM(Log-structured merge-tree)写入模型,无需在写入时解决简单的倒排索引,因而写入性能上较好。
▋ 查问优化
次要采纳以下技术手段进步查问性能:
剪枝:
- min/max 剪枝:构建代价比拟低,在特定场景,性能较好
- XOR 过滤器:进步对 parquet 文件中的 row group 的筛选精度
高效扫描:
- 多个 SST 间并发:同时扫描多个 SST 文件
- 单个 SST 外部并发:反对 Parquet 层并行拉取多个 row group
- 合并小 IO:针对 OSS 上的文件,合并小 IO 申请,进步拉取效率
- 本地 cache:缓存 OSS 拉取文件,反对内存和磁盘缓存
▋ 性能测试后果
采纳 TSBS 进行性能测试。压测参数如下:
- 10 个 Tag
- 10 个 Field
- 工夫线(Tags 组合数)100w 量级
压测机器配置:24c90g
- InfluxDB 版本:1.8.5
- CeresDB 版本:1.0.0
▋ 写入性能比照
InfluxDB 写入性能随着工夫降落较多。CeresDB 在写入稳固后,写入速率趋于平稳,并且总体写入性能体现为 InfluxDB 的 1.5 倍以上(一段时间后可达 2 倍以上差距)
下图中,单行 row 蕴含 10 个 Field。
Influxdb
CeresDB
▋ 查问性能比照
低筛选度条件(条件:os=Ubuntu15.10),CeresDB 比 InfluxDB 快 26 倍,具体数据如下:
- CeresDB 查问耗时:15s
- InfluxDB 查问耗时:6m43s
高筛选度条件(命中的数据较少,条件:hostname=[8 个],此时实践上传统倒排索引会更无效),这是 InfluxDB 更有劣势的场景,此时在预热实现条件下,CeresDB 比 InfluxDB 慢 5 倍。
- CeresDB:85ms
- InfluxDB:15ms
2023 roadmap 一览
2023 年,在 CeresDB 1.0 公布之后,咱们的大部分工作将聚焦在性能、分布式与周边生态方面的工作。尤其周边生态的对接反对工作,心愿能让各种不同的用户更加简略的用上 CeresDB:
▋ 周边生态
生态兼容,包含 PromQL、InfluxdbQL、OpenTSDB 等罕用时序数据库协定兼容
运维工具反对,包含 k8s 反对、CeresDB 运维零碎、自监控等
开发者工具,包含数据导入导出等
▋ 性能
摸索新的存储格局
加强不同类型索引,强化 CeresDB 在不同工作负载下的体现
▋ 分布式
主动负载平衡
进步可用性、可靠性
* 代码主仓库的 GitHub 地址为:https://github.com/CeresDB/ceresdb
*CeresDB 1.0 官网文档:https://docs.ceresdb.io
欢送拜访 OceanBase 官网获取更多信息:https://www.oceanbase.com/