关于云服务:开放普惠高性能SLS时序存储助力打造企业级全方位监控方案

无所不在的时序数据

工夫带走所有,长年累月会把你的名字、外貌、性情、命运都扭转。 —柏拉图

随着工夫的推移,万事万物都在不停的变动,而咱们也会用各种数字去掂量这些变动信息,比方年龄、分量、速度、温度、金钱…在数字化时代中,咱们会把这些随着工夫变动的数据保存起来,开掘这些数据的价值。通常咱们会称这类数据为—时序数据。

时序数据用于形容物体在工夫维度上的状态变动信息。

时序数据在各行各业都失去了十分宽泛的利用,例如股票走势、交易趋势、服务器指标、脉搏心跳、定位坐标、能耗趋势等等,而这些数据简直在所有的场景中都失去了利用,例如:

  1. 各类炒股软件提供泛滥不同维度的股票K线图,为宽广股民提供参考规范;
  2. Apple Watch通过监控佩戴者的心率信息,帮忙人们提前发现重大的心脏疾病;
  3. 国家电网通过剖析各个小区、住户的用电量曲线,来判断是否有偷电漏电状况;
  4. 电商类的公司会监控平台的下单、交易、退货、评估等要害流程的变化趋势,用来疾速发现各类异样;
  5. 各个游戏平台通过剖析每个用户角色的操作、地位等变化规律,来判断是否应用了舞弊辅助工具…

咱们须要一个什么样的时序存储

为了可能撑持各种场景的时序剖析、监控等需要,近几年在开源和商业畛域均呈现了一些时序存储的引擎,例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等,这些存储引擎别离有本人的生态和实用场景,在某些场景下具备较高的劣势,例如TimescaleDB基于PostgreSQL,如果是PG的用户能够疾速上手;InfluxDB具备十分欠缺的生态,TICK(Telegraf、 InfluxDB、Chronograf、Kapacitor)能够疾速上手;Prometheus对于云原生场景反对十分敌对,PromQL也十分便捷灵便,曾经成为Kubernetes上监控的实事规范。然而从理论公司的业务场景登程,对于时序数据会有更多的要求:

  1. 高性能:时序数据通常流量大、保留周期长且须要长时间的范畴查问,可能撑持大规模的写入与疾速查问是必备条件;
  2. 凋谢:通常公司外部会有多个部门对不同零碎的时序数据进行不同类型的剖析、监控等需要,因而时序存储需具备足够的凋谢能力,反对各种数据的接入以及上游生产;
  3. 低成本:这里的老本次要包含两方面:资源老本和人力运维老本。有摩尔定律的存在,单位资源老本越来越低,而单位人力老本每年都在晋升,因而低成本的外围在于运维这套时序存储的人力老本;
  4. 智能化:尤其在海量监控对象的场景中,纯正的动态规定很难发现某个监控对象的异样,因而时序存储下层须要附加智能化的算法,晋升监控的准确率。

SLS时序存储公布

SLS的日志存储引擎在2016年对外公布,目前承接阿里外部以及泛滥企业的日志数据存储,每天有数十PB的日志类数据写入。其中有很大一部分属于时序类数据或者用来计算时序指标,为了让用户可能一站式实现整个DevOps生命周期的数据接入、荡涤、加工、提取、存储、可视化、监控、问题剖析等过程,咱们专门推出了时序存储的性能,与日志存储一道为大家解决各类机器数据的存储问题。

时序存储整体架构如上图所示,接入层能够对接各类开源的采集软件以及SLS本人开发的高性能Logtail,同时反对各种语言SDK间接写入,也反对Kafka、Syslog等开放性协定;存储层是齐全分布式架构,每个时序库可通过Sharding形式程度扩大,数据默认3正本高牢靠存储;计算层与存储层拆散,提供SQL、PromQL纯剖析型语法,同时提供智能剖析能力。基于SLS提供的采集、存储、剖析等性能可疾速构建企业本人的业务监控、微服务监控等计划。

性能特点

SLS时序存储从设计之初就是为了解决阿里外部与泛滥头部企业客户的时序存储需要,并借助于阿里外部多年的技术积攒,使之能够适应绝大部分企业级时序监控/剖析诉求。SLS时序存储的特点次要有:

  1. 丰盛上下游:数据接入上SLS反对泛滥采集形式,包含各类开源Agent以及阿里云外部的监控数据通道;同时存储的时序数据反对对接各类的流计算、离线计算引擎,数据齐全凋谢;
  2. 高性能:SLS存储计算拆散架构充分发挥集群能力,尤其在大量数据下端对端的速度晋升显著;
  3. 免运维:SLS的时序存储齐全是服务化,无需用户本人去运维实例,而且所有数据都是3正本高牢靠存储,不必放心数据的可靠性问题;
  4. 开源敌对:SLS的时序存储原生反对Prometheus的写入和查问,并反对SQL92的分析方法,能够原生对接Grafana等可视化计划;
  5. 智能:SLS提供了各种AIOps算法,例如多周期估算、预测、异样检测、时序分类等各类时序算法,能够基于这些算法疾速构建适应于公司业务的智能报警、诊断平台。

典型利用场景

利用/业务监控

利用/业务监控是公司层面重要的工作之一,在阿里外部始终作为最重要的监控项在建设。通过SLS提供的各类数据采集性能将所有利用/业务数据对立、实时采集,利用数据加工把各个不同期间、不同格调的数据做结构化解决,基于结构化的数据就能够做肯定的剖析,但通常业务数据量级较大,咱们还会应用SQL的聚合性能对数据进行肯定的降维,应用降维后的聚合时序数据来做告警以及长期的监控指标回溯。

云原生监控

随着云原生技术的遍及,越来越多的公司开始技术转型到云原生架构,借助于Prometheus、OpenTelemetry等CNCF的开源Project能够疾速采集到Kubernetes以及各类中间件、利用的监控信息,阿里云上的云监控获取到所有云产品的监控数据。利用SLS时序存储以及日志/Trace存储的能力,能够反对各类监控数据的对立存储,数据可无缝对接Grafana的可视化,在Grafana上构建基础设施、云产品、中间件、应用软件的全方位监控大盘。

拜访日志剖析

拜访日志作为网站、APP的入口流量记录,可能间接反映出以后利用是否失常,因而运维畛域的必备监控项。通过Logtail采集原始的拜访日志,可用来剖析/考察每个用户的申请,也可用作归档/审计需要;但原始拜访日志量较大,不太适宜间接的监控,通常会通过预聚合的形式对数据进行降维,基于聚合后的时序数据进行实时监控,并可利用SLS提供的智能巡检性能对每个业务站点进行独立的智能监控。

本文作者:元乙

原文链接:https://developer.aliyun.com/…_content=g_1000161276

本文为阿里云原创内容,未经容许不得转载。

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据