4月21日，博睿数据ONE有引力2023秋季产品发布会圆满闭幕，一体化智能可观测平台Bonree ONE 2023秋季正式版正式公布，这一次公布的版本更轻、更强、更智能。
Bonree ONE在上一版根底上削减50%组件数量，下架两大高耗能组件，单机节俭20G+内存，安装时间放慢30%，磁盘耗费缩减80%；实现能力的5倍晋升，单台16C 32G服务器稳固撑持100 APM探针数据接入或2万日活用户会话，帮忙用户大幅升高配置老本。
架构瘦身，让Bonree ONE跑得更轻
本文作者
背景
在数据分析畛域，OLAP引擎是整个服务的底座，是整个产品性能的发动机。它须要强悍的数据写入性能，用来撑持高时效的数据价值，同时也须要强悍的数据读取性能，满足咱们在OLAP场景中的高效查问需要。高性能个别会随同着更多资源需求量的产生。如果咱们能在等同的数据量下，能够用更少的资源来满足需要，无疑会给产品带来更大的空间。咱们从历史Druid沉重引擎切换到了更轻量级的Clickhouse。
同时，Bonree ONE作为弱小当先的一体化智能可观测平台，交融了RUM、APM、数据分析、ETL、Alert告警、自适应AI等诸多微利用能力。起初泛滥组件整合在一起时，整体须要38个组件，组件多，资源占用多，保护老本高，十分沉重。每次POC须要单机64G内存的机器能力部署，且性能十分无限。基于这些痛点，须要对Bonree ONE架构体系做整体梳理，制订瘦身技术计划。
架构（四通一合）
首先，要解决架构问题，好的架构能够少走弯路。Bonree ONE架构体系考究化繁为简，即四通一合：
● 对象通：采集。对立的对象采集能力，OneAgent能够对立采集多端、多源、多种类型对象，并且SmartGate提供了采集数据的汇聚、路由、压缩、缓存、批传、负载平衡、平安治理等智能化性能，让用户数据采的安心、用的舒心。
● 数据通：数据。OneData作为对立的数据平台，能够集成指标、调用链、拓扑、事件、日志等多种可观测性类型数据；OneService作为对立数据服务，自研对立的BPL语句，能够同时计算和查问多源异构的数据集，让数据真正的交融关联用起来，解决传统割裂数据拼凑的问题。
● 模型通：模型。基于数据标准化建模、AI多模态的湖仓一体化，反对开箱即用和AI自适应的在线模型。
● 利用通：规范。多个利用遵循一套OneAPI规范，通过OneFramework能够让微利用插件相互通信，相互赋能。利用也做到了插件化，微利用能够各自独自跑，也能够合并一起跑。能力凋谢，能够集成与被集成。
● 中交融：ONE架构也到了真正意义的交融。一套体系化的数据、服务、模型都是互通互联，能轻便反对下层业务场景须要的简单数据模型形象和计算。
OneData底座
架构轻
劣势显著
● 数据平台组件较少，OLAP引擎只有Clickhouse单个组件，在写入和元数据协同上各有一个组件，且都反对高可用。
● 在POC场景下，Clickhouse精简部署，写入效率齐全达到业务须要。
● 在小型集群的场景下，Clickhouse只须要单shard部署，在满足性能的前提下，反对高可用。
● 在晚回数据场景下，Clickhouse人造反对分区，在历史数据和实时数据上，没有区别对待，效率上是等同的。
● 在clickhouse上，通过物化视图和多粒度表的反对，较大范畴工夫的查问效率同样能够在毫秒级别实现，且是稳固的。
Feature开发
● 写入资源均衡。
● 表粒度入库攒批管制。
● 多租户的反对。
● 数据自治理。
● 简单数据类型上查问效率的改良。
● 继续优化读写性能，和资源瘦身。
● 数据重散布个性，针对数据扩容状况下的数据分布改良。
● 扩大DDL能力，能够在线反对针对物化视图、projection的动静加减列。
● 轻量级运维能力建设。
成果
相比瘦身之前，ONE技术优化成果：
- 整体组件从38个缩小到19个。
- 从内存看：
1) POC配置规格从单机64G降到32G，单机能够反对运行100探针，运行时内存耗费在23G左右；
2) 业务各团队做全链路组件瘦身，POC版瘦身去掉所有hadoop、kafka、brfs、zookeeper等重组件；
3) 指标存储底座从Druid切换到Clickhouse，内存资源降了60%（集群版和POC版都实用）；
4) SwiftAI重构架构，所有服务合并到一个过程组件（集群版和POC版都实用）；
5) OneService作为新一代联邦数据服务，代替了传统较重的Presto大数据组件汇合；
6) OneAPI和OneView反对微利用插件合并，也能够独自部署，代替了传统的SSO和Cloud组件（集群版和POC版都实用）。 - 从磁盘看，APM的磁盘占用存储降到了1/5（日增100G->20G）：
1) POC版去kafka会大量缩小磁盘占用；
2) trace也做了写入压缩优化（集群版和POC版都实用）；
3) Clickhouse没有Druid的二级hadoop存储占用（集群版和POC版都实用）；
4) Clickhouse自身较Druid压缩比会好些，各业务表的压缩比在8到20倍（集群版和POC版都实用）；
5) AI通过Iceberg湖仓一体和数据治理，按开箱默认指标两个月只须要40G的磁盘空间（集群版和POC版都实用）。 - 从性能看，拿私有云统计性能数据，基于Clickhouse的OneData底座P99查问性能比历史Druid架构进步了6倍以上，均匀耗时从秒级降到了毫秒级。同时在晚回数据场景，稳定性和效率比Druid体现的更加优良，保护老本为0。
- 从性能看，ONE较之前秋季版产品减少了一些性能，比方默认会开启AI和会话，AI和会话不再独自追加资源（集群版和POC版都实用）。
- 从利用框架看，引入弱小的插件容器框架OneFramework，提供了运行环境和根底通用能力反对（依赖治理、网关服务、连接池封装、common工具类、会话共享等）。OneFramework能够让业务只关注本人的业务代码开发，并且各自能够独立开发和部署，大大提高了开发迭代和公布效率。一套框架能够灵便应答私有云和私有化不同的环境场景。