毋庸置疑,当今 IT 运维的重要性正在被更多企业熟知。
依据艾瑞预测数据显示,2021 年中国 IT 服务将冲破万亿大关,其中 IT 运维市场规模将达到 2941.2 亿元。
市场规模的另一面是增长速度。IT 桔子数据显示,截止 2021 年 8 月,IT 运维赛道融资金额达 21.786 亿元人民币,较去年同期的 10.66 亿元人民币,增长了一倍多。
从 IT 运维软件的市场规模来看,Gartner 认为寰球的 ITOM(IT Operation Management)的市场规模到 20 年底达到了 339 亿美元,同期艾瑞征询预计国内的市场规模大概在 114 亿人民币左右。数据看上去仿佛并不大,但如果从整个 IT 运维治理服务市场的角度切入,中国市场空间仅 2020 年就预计超过 2500 亿。
显然,IT 运维这个赛道正在被重塑。
IT 运维企业的业务繁杂难题
但从 IT 运维的业务场景而言,枝叶繁冗泛滥,对于 IT 运维人员而言,压力也是倍增的。如何兼顾晋升业务性能,加重运维压力是当下 IT 运维企业们的广泛难题。
以博睿数据为例。
博睿数据作为 IT 运维畛域的老兵,自成立以来,依靠多年的技术积攒,不断更新迭代出了多款智能运维产品。
家喻户晓,监控零碎是整个运维环节,乃至整个产品生命周期中最重要的一环。通过监控零碎,企业事先能够及时预警发现故障,预先也可利用零碎提供翔实的数据用于追究定位问题。而保障上线的各项零碎依照预期稳固运行,监控甚至预测什么时候可能会呈现故障或危险,疾速明确导致故障呈现的起因,并提出卓有成效的解决方案,是运维的次要工作。
在这个过程中,运维人员要想高效疾速的解决企业的运维问题,就必须要收集海量的数据,比方博睿数据 Bonree SDK 和博睿数据 Bonree Server 每天要写入上 T 的原始数据。当然,除了海量的数据外,数据个别都是具备工夫戳的,决定数据价值的也往往是最新的数据,这也决定了其对实时性的要求,当运维数据产生告警时,第一工夫告知客户。
此外,为了及时无效的帮忙客户提出无效的解决办法,运维人员还须要对数据进行剖析,分析方法包含:
即席查问剖析,即当监控发现问题时马上对实时数据进行剖析;
长周期剖析,及查看 3 个月时间跨度的数据;
多维分析,即从各种维度进行剖析;
关联剖析,即对各类数据进行联结关联剖析等等。
不过,随着数字化转型的深刻,更加简单的 IT 基础设施和大量的业务零碎也让运维人员们开始思考如何在兼顾性能及运维压力上作出均衡。而这也是博睿数据 Bonree Zeus 产品公布的一个重要契机。
博睿数据 Bonree Zeus 是什么?
由前文可知,对于运维工作而言,数据分析对业务的晋升功不可没。而数据处理大抵能够分为两类:联机事务处理 OLTP、联机剖析解决 OLAP。
说到联机剖析解决则与 Bonree Zeus 的产品研发有着很大的关系。
OLAP(OnLine Analysis Processing,联机剖析解决) 是数据仓库零碎的次要利用,反对简单的剖析操作,偏重决策反对,并且提供直观易懂的查问后果。在理论的商业剖析中,OLAP 联机剖析更多的是指对数据分析的一种解决方案。
依据博睿数据多年来对于市场的敏锐察看发现企业在产品实际中都会面临联机剖析解决 OLAP(Online Analytical Processing)的利用场景,而 OLAP 的数据写多更新少,其中存在大量时序数据,须要更低的查问响应工夫和更高的并发多维度查问过程。
因而,博睿数据认为,在数字化转型的大潮下,咱们须要一款符合业务、高性能、低成本、自主可控、易运维的产品。于是,通过长期技术调研和深厚企业级数据教训积淀,自主研发了 Bonree Zeus 零碎。
Bonree Zeus 是基于 Apache Druid 二次开发的分布式实时剖析数据库,反对 PB 级数据存储,亚秒级高并发查问,并反对结构化数据和日志数据存储,领有预聚合、高压缩比等个性。Bonree Zeus 零碎为博睿数据泛滥产品提供了稳固牢靠的数据仓库撑持。
Bonree Zeus 由 ZeusManager、Query Server、Master Server 及 Data Server 组成,均反对程度扩大。
ZeusManager 次要负责提供用户 API 拜访,用户能够通过 ZeusManager 建库,建表,写入数据,查问数据及 Job 治理。
Query Server 次要负责查问,当数据存储在 Data Server 后,Query Server 能够查问多个 Data Server 上数据,并进行汇总再返回给用户。
Data Server 分成 2 个局部,一个是 Middle Manager,次要负责实时数据写入,一个是 Historical,次要负责历史数据查问。
Bonree Zeus 能做什么?
1、高速高效
Bonree Zeus 应用位图索引,高效反对疾速过滤和多列搜寻,可能迅速过滤出客户想要的数据,并为即席查问 (Ad Hoc) 提供了高效的索引。
其提供了近似计算能力,面对高基数数据,可能在精度绝对不高的状况下,用无限的内存和工夫,疾速获取排名、基数、直方图和分位值。
同时,其在存储上能够按工夫分区,依据工夫查找时序数据的效率大大晋升。
Bonree Zeus 反对多工夫粒度预聚合,面对大时间跨度的历史数据查问,客户可能切身感受到“飞个别的感觉”。
基于列式存储,Bonree Zeus 查问时能够只加载须要的列,而理论大部分查问语句也只波及局部列的查问,所以这种独特的列式存储思路极大晋升了查问速度,使得大多数查问能够在 1 秒内实现。
值得一提的是,Bonree Zeus 还能够施展集群并行计算能力,使得数据入库和查问能够在多个节点上并行处理。
2、自动化
DPL(Data Processing Language)是博睿数据所致力于开发的一品种 SPL(Searching Processing Language)查询语言。其蕴含了丰盛的命令、函数、参数和从句,来实现多样的数据查问,让用户不须要编程就能达到数据分析的成果。
这一语言同时反对 join 内部数据源联查,如 Zeus 数据和 mysql 联查,这极大升高了开发者的工作量。要晓得,过来遇到这样的场景,程序员可是须要自行手工实现 join 过程的。
3、为日志查问赋能
Bonree Zeus 反对日志数据的存储和简略的全文检索,并集成了结构化数据和非结构化数据存储的个性。过来,在日志场景中,很多客户都须要额定用 ES(Elastic Search)来进行检索,当初,Bonree Zeus 则提供了另外一种更加简便高效的抉择。
4、节俭存储空间
Bonree Zeus 在数据入库的同时能够进行实时预聚合,摒弃那些企业用不到的工夫精度,并进而将多条数据存为一条。这一办法,显著晋升了存储效率并升高了由此带来的性能开销。
基于列式存储的 Bonree Zeus,可能对不同类型的数据列采纳不同针对性的压缩算法,例如字典编码、位图压缩和类型感知压缩,这使得双正本条件下数据压缩比可达 7:2。
5、并发兼具高吞吐量
Bonree Zeus 提供了百万级 records 每秒的入库速度,并同时反对高并发查问反对,保证数据一致性。
6、高牢靠,高弹性
一旦 Bonree Zeus 把数据入库,数据的正本就会存储至深度存储中(反对云存储、HDFS 或者共享文件系统)。即便单台数据节点宕机,其仍能够从深度存储中复原数据。Bonree Zeus 所采纳的的这一副本机制,同时保障了数据恢复时不会影响查问后果和查问性能。
除此之外,Bonree Zeus 所有的节点都反对程度扩大。当零碎容量和资源不够时,这一程度扩大模式就能够派上用场。
结语
Bonree Zeus 曾经在博睿数据的客户群体中进行了长期和宽泛的利用。具体而言,在 APM 畛域可对 APM 类型的数据进行存储剖析;在 ITIM 畛域可用作服务器指标存储;在 DEM 畛域可用作网络监控指标存储及剖析;在 NPM 畛域可用做 NPM 指标数据存储及剖析;在指标剖析层面,能够存储应用程序各类指标,并提供查问;在数字营销或广告剖析层面能够实时摄取各类点击数据,用作广告效应剖析;在 OLAP 层面可能撑持各种 dashboard,提供给数据分析师进行多维分析。
将来,Bonree Zeus 依旧会一直打磨本身产品,帮忙越来越多的企业,对业务产生的海量数据进行落盘存储和疾速查问剖析,助力更多企业的数字化转型业务。