前言
随着人工智能、大数据、物联网以及云计算时代的到来,在日志数据量继续爆增、日志数据日益多样化的明天,传统日志服务器的管理模式曾经追不上日志数据的增速,且企业对日志管理系统的要求越来越高,很多企业都想建设一个对立的日志平台来解决这个问题,面对以后的挑战和时机,泛滥云服务厂商纷纷推出了云日志服务,以此来满足企业的需要。
什么是云日志服务云
日志服务是在云上提供的一站式日志采集、日志搜寻、海量存储、结构化分析、丰盛的仪表盘、日志告警和转储等性能,能够满足企业的利用运维、等保合规和经营剖析多种场景下的利用。
云日志服务的次要性能
各大支流云服务厂商的云日志服务性能大同小异,次要体现在以下几个方面。
日志采集
通过云日志服务能够实现多种数据源端的日志采集,包含主机(Linux 零碎和 Windows 零碎均可)日志、数据库日志、容器日志、云服务日志、通过 API 和 SDK 日志采集、挪动端、浏览器、IOT 端侧日志。除此之外,还能够通过开源工具接入,实现日志采集。
日志检索
云日志服务能够提供关键词查问,能够对实现比拟运算符、括号、in 范畴查问、and/or/not 等逻辑的准确匹配,也反对 * 和?的含糊查问。还反对日志上下文查看、疾速剖析等性能。
日志结构化分析
表格、柱状图、饼图、折线图和数字图等根底图标是必备的性能,还有 SQL 的疾速剖析,能够统计字段不同 value 的取值占比,数值类反对 max、min、avg 和 sum。丰盛的仪表盘展现性能能够更好的助力日志治理。
监控和告警
当有了日志数据,并进行了剖析之后,紧接着就是须要将后果信息散发进来,及时采取正当的应答策略,这就是监控和告警要实现的性能。云日志服务能够提供日志资源统计,包含但不限于流量、存储和索引指标,关键词告警,SQL 告警,设置短信、邮件、钉钉、企业微信、电话等多种路径的告警告诉,告警告诉的内容能够是零碎设定也能够反对自定义,对告警治理提供分组、克制和静默形式的个性化设置,升高告警带来的噪声。
日志转储
海量的日志数据能够转储到其余的存储设备,比方对象存储或者实时转储到 KAFKA。
云日志服务利用实际
上面咱们以华为云的云日志服务 LTS 为例,通过一个实际来理解如何将 Linux 主机接入云日志进行治理,带你疾速上手云日志服务。
实际过程一共分为四步,如下图所示:
1、云日志服务中创立日志组和日志流
首先,咱们创立一个日志组,日志组(LogGroup)是云日志服务进行日志治理的根本单位,能够创立日志流以及设置日志存储工夫。进入云日志服务治理控制台,“日志治理”页面中,单击“创立日志组”。日志组名字依据规定自定义,日志保留工夫默认是 7 天。
而后,在创立的日志组中创立日志流。日志流(LogStream)是日志读写的根本单位,日志组中能够创立日志流,不便对日志进一步分类管理。在“日志治理”页面的“日志组列表”能够看看刚刚创立胜利的日志组,点击上面的“创立日志流”,实现日志流创立。
2、主机装置日志采集器 ICAgent
ICAgent 是云日志服务的日志采集工具,运行在须要采集日志的云主机中。首次应用云日志服务采集主机的日志时,须要装置 ICAgent。
首先,在云日志服务治理控制台,“主机治理”页面中,单击“装置 ICAgent”。
而后,在弹出的对话框中进行装置根本配置
• 装置零碎:Linux(本次咱们以 Linux 主机为例)
• 主机类型:华为云主机(此次试验中应用的为华为的 ECS 主机,能够点击链接理解如何应用。如果是非华为云主机,遵循响应的提醒进行装置即可)
• 装置形式:获取 AK/SK 凭证
选定后,上面后具体的步骤指引,依照提醒操作即可,此处不再赘述。
3、将主机接入云日志服务
当咱们在主机上安装好采集器之后,就能够通过云日志控制台将主机接入到方才创立的日志组中进行治理。
首先,在云日志服务治理控制台,“日志接入”页面中,抉择“云主机 ECS- 文本日志”。
进入到接入日志的配置疏导页面,如下图所示,依据疏导实现配置即可。
其中的步骤 3:采集配置是主机日志采集的具体信息,有疑难能够参考服务的采集配置 帮忙文档进行设置。
4、查看主机日志
实现了主机的日志采集配置之后,就能够到云日志服务的治理控制台查看主机的相干日志,能够查看原始日志,也能够查看实时日志,还能够进行日志搜寻以及各种可视化操作。
首先,在云日志服务治理控制台,“日志治理”页面中,抉择刚刚创立好的日志组的日志流的名称,进入到日志流详情页面即可进行各种操作。
至此,咱们就简略的实现了一个 Linux 主机接入云日志服务的实际过程,如果想体验更多的内容,请点击《LTS 根底入门实际》进行沙箱试验的体验,外面有具体的手册领导和环境配置指引。