毋庸置疑,当今IT 运维的重要性正在被更多企业熟知。
依据艾瑞预测数据显示,2021年中国IT服务将冲破万亿大关,其中IT运维市场规模将达到2941.2亿元。
市场规模的另一面是增长速度。IT桔子数据显示,截止2021年8月,IT运维赛道融资金额达21.786亿元人民币,较去年同期的10.66亿元人民币,增长了一倍多。
从IT运维软件的市场规模来看,Gartner认为寰球的ITOM(IT Operation Management)的市场规模到20年底达到了339亿美元,同期艾瑞征询预计国内的市场规模大概在114亿人民币左右。数据看上去仿佛并不大,但如果从整个IT运维治理服务市场的角度切入,中国市场空间仅2020年就预计超过2500亿。
显然,IT 运维这个赛道正在被重塑。
IT 运维企业的业务繁杂难题
但从 IT 运维的业务场景而言,枝叶繁冗泛滥,对于IT 运维人员而言,压力也是倍增的。如何兼顾晋升业务性能,加重运维压力是当下IT运维企业们的广泛难题。
以博睿数据为例。
博睿数据作为IT 运维畛域的老兵,自成立以来,依靠多年的技术积攒,不断更新迭代出了多款智能运维产品。
家喻户晓,监控零碎是整个运维环节,乃至整个产品生命周期中最重要的一环。通过监控零碎,企业事先能够及时预警发现故障,预先也可利用零碎提供翔实的数据用于追究定位问题。而保障上线的各项零碎依照预期稳固运行,监控甚至预测什么时候可能会呈现故障或危险,疾速明确导致故障呈现的起因,并提出卓有成效的解决方案,是运维的次要工作。
在这个过程中,运维人员要想高效疾速的解决企业的运维问题,就必须要收集海量的数据,比方博睿数据 Bonree SDK 和博睿数据Bonree Server 每天要写入上T 的原始数据。当然,除了海量的数据外,数据个别都是具备工夫戳的,决定数据价值的也往往是最新的数据,这也决定了其对实时性的要求,当运维数据产生告警时,第一工夫告知客户。
此外,为了及时无效的帮忙客户提出无效的解决办法,运维人员还须要对数据进行剖析,分析方法包含:
即席查问剖析,即当监控发现问题时马上对实时数据进行剖析;
长周期剖析,及查看3个月时间跨度的数据;
多维分析,即从各种维度进行剖析;
关联剖析,即对各类数据进行联结关联剖析等等。
不过,随着数字化转型的深刻,更加简单的IT基础设施和大量的业务零碎也让运维人员们开始思考如何在兼顾性能及运维压力上作出均衡。而这也是博睿数据 Bonree Zeus产品公布的一个重要契机。
博睿数据 Bonree Zeus是什么?
由前文可知,对于运维工作而言,数据分析对业务的晋升功不可没。而数据处理大抵能够分为两类:联机事务处理 OLTP、联机剖析解决 OLAP。
说到联机剖析解决则与Bonree Zeus的产品研发有着很大的关系。
OLAP(OnLine Analysis Processing ,联机剖析解决 ) 是数据仓库零碎的次要利用,反对简单的剖析操作,偏重决策反对,并且提供直观易懂的查问后果。在理论的商业剖析中,OLAP联机剖析更多的是指对数据分析的一种解决方案。
依据博睿数据多年来对于市场的敏锐察看发现企业在产品实际中都会面临联机剖析解决OLAP(Online Analytical Processing)的利用场景,而OLAP的数据写多更新少,其中存在大量时序数据,须要更低的查问响应工夫和更高的并发多维度查问过程。
因而,博睿数据认为,在数字化转型的大潮下,咱们须要一款符合业务、高性能、低成本、自主可控、易运维的产品。于是,通过长期技术调研和深厚企业级数据教训积淀,自主研发了Bonree Zeus零碎。
Bonree Zeus是基于Apache Druid二次开发的分布式实时剖析数据库,反对PB级数据存储,亚秒级高并发查问,并反对结构化数据和日志数据存储,领有预聚合、高压缩比等个性。Bonree Zeus零碎为博睿数据泛滥产品提供了稳固牢靠的数据仓库撑持。
Bonree Zeus由ZeusManager、Query Server、Master Server及Data Server组成,均反对程度扩大。
ZeusManager次要负责提供用户API拜访,用户能够通过ZeusManager建库,建表,写入数据,查问数据及Job治理。
Query Server次要负责查问,当数据存储在Data Server后,Query Server能够查问多个Data Server上数据,并进行汇总再返回给用户。
Data Server分成2个局部,一个是Middle Manager,次要负责实时数据写入,一个是Historical,次要负责历史数据查问。
Bonree Zeus能做什么?
1、高速高效
Bonree Zeus应用位图索引,高效反对疾速过滤和多列搜寻,可能迅速过滤出客户想要的数据,并为即席查问(Ad Hoc)提供了高效的索引。
其提供了近似计算能力,面对高基数数据,可能在精度绝对不高的状况下,用无限的内存和工夫,疾速获取排名、基数、直方图和分位值。
同时,其在存储上能够按工夫分区,依据工夫查找时序数据的效率大大晋升。
Bonree Zeus反对多工夫粒度预聚合,面对大时间跨度的历史数据查问,客户可能切身感受到“飞个别的感觉”。
基于列式存储,Bonree Zeus查问时能够只加载须要的列,而理论大部分查问语句也只波及局部列的查问,所以这种独特的列式存储思路极大晋升了查问速度,使得大多数查问能够在1秒内实现。
值得一提的是,Bonree Zeus还能够施展集群并行计算能力,使得数据入库和查问能够在多个节点上并行处理。
2、自动化
DPL(Data Processing Language)是博睿数据所致力于开发的一品种SPL(Searching Processing Language)查询语言。其蕴含了丰盛的命令、函数、参数和从句,来实现多样的数据查问,让用户不须要编程就能达到数据分析的成果。
这一语言同时反对join内部数据源联查,如Zeus数据和mysql联查,这极大升高了开发者的工作量。要晓得,过来遇到这样的场景,程序员可是须要自行手工实现join过程的。
3、为日志查问赋能
Bonree Zeus反对日志数据的存储和简略的全文检索,并集成了结构化数据和非结构化数据存储的个性。过来,在日志场景中,很多客户都须要额定用ES(Elastic Search)来进行检索,当初,Bonree Zeus则提供了另外一种更加简便高效的抉择。
4、节俭存储空间
Bonree Zeus在数据入库的同时能够进行实时预聚合,摒弃那些企业用不到的工夫精度,并进而将多条数据存为一条。这一办法,显著晋升了存储效率并升高了由此带来的性能开销。
基于列式存储的Bonree Zeus,可能对不同类型的数据列采纳不同针对性的压缩算法,例如字典编码、位图压缩和类型感知压缩,这使得双正本条件下数据压缩比可达7:2。
5、并发兼具高吞吐量
Bonree Zeus提供了百万级records每秒的入库速度,并同时反对高并发查问反对,保证数据一致性。
6、高牢靠,高弹性
一旦Bonree Zeus把数据入库,数据的正本就会存储至深度存储中(反对云存储、HDFS或者共享文件系统)。即便单台数据节点宕机,其仍能够从深度存储中复原数据。Bonree Zeus所采纳的的这一副本机制,同时保障了数据恢复时不会影响查问后果和查问性能。
除此之外,Bonree Zeus所有的节点都反对程度扩大。当零碎容量和资源不够时,这一程度扩大模式就能够派上用场。
结语
Bonree Zeus曾经在博睿数据的客户群体中进行了长期和宽泛的利用。具体而言,在APM 畛域可对APM类型的数据进行存储剖析;在ITIM畛域可用作服务器指标存储;在DEM畛域可用作网络监控指标存储及剖析;在NPM畛域可用做NPM指标数据存储及剖析;在指标剖析层面,能够存储应用程序各类指标,并提供查问;在数字营销或广告剖析层面能够实时摄取各类点击数据,用作广告效应剖析;在OLAP层面可能撑持各种dashboard,提供给数据分析师进行多维分析。
将来,Bonree Zeus 依旧会一直打磨本身产品,帮忙越来越多的企业,对业务产生的海量数据进行落盘存储和疾速查问剖析,助力更多企业的数字化转型业务。