乐趣区

关于java:Elasticsearch-Logstash-Kibana搭建ELK日志分析平台官方推荐的BEATS架构

jiezi

俗话话说的号，没有金刚钻，也不揽那瓷器活；日志剖析能够说是所有大小零碎的标配了，不晓得有多少菜鸟程序员有多喜爱日志，如果没了日志，那本人写的 bug 想不被他人发现，可就难了；
有了它，就可将 bug 们通通消化在本人手里。

当然了，作为一个架构师搭建入手搭建一个日志平台也根本是必备技能了，尽管咱们说架构师根本不咋写代码了，然而如果须要的时候，还是能扛枪的

大家能够看下架构师要具备的能力：
那些年薪 50 万，却不写代码的程序员，到底赢在哪？
原来，百万年薪的架构师都是这样应用 redis 的！

ELK 部署利用与工作机制

3.1 ELK 日志剖析平台介绍

ELK 是三个开源软件的缩写，别离示意：Elasticsearch , Logstash 和 Kibana。Elasticsearch 和 Kibana 咱们下面做过解说。Logstash 次要是用来日志的收集、剖析、过滤日志的工具，实用大数据量场景，个别采纳 c / s 模式，client 端装置在须要收集日志的主机上，server 端负责将收到的各节点日志进行过滤、批改等操作，再一并发往 Elasticsearch 上做数据分析。

一个残缺的集中式日志零碎，须要蕴含以下几个次要特点：

  • 收集-可能采集多种起源的日志数据
  • 传输-可能稳固的把日志数据传输到地方零碎
  • 存储-如何存储日志数据
  • 剖析-能够反对 UI 剖析
  • 正告-可能提供错误报告，监控机制

ELK 提供了一整套解决方案，并且都是开源软件，之间互相配合应用，完满连接，高效的满足了很多场合的利用，是目前支流的一种日志剖析平台。

3.2 ELK 部署架构模式

3.2.1 简略架构

这是最简略的一种 ELK 部署架构形式，由 Logstash 散布于各个节点上收集相干日志、数据，并通过剖析、过滤后发送给远端服务器上的 Elasticsearch 进行存储。长处是搭建简略，易于上手，毛病是 Logstash 耗资源较大，依赖性强，没有音讯队列缓存，存在数据失落隐患

3.2.2 音讯队列架构

该队列架构引入了 KAFKA 音讯队列，解决了各采集节点上 Logstash 资源消耗过大，数据失落的问题，各终端节点上的 Logstash Agent 先将数据 / 日志传递给 Kafka，音讯队列再将数据传递给 Logstash，Logstash 过滤、剖析后将数据传递给 Elasticsearch 存储，由 Kibana 将日志和数据出现给用户。

3.2.3 BEATS 架构

该架构的终端节点采纳 Beats 工具收集发送数据，更灵便，耗费资源更少，扩展性更强。同时可配置 Logstash 和 Elasticsearch 集群用于反对大集群零碎的运维日志数据监控和查问，官网也举荐采纳此工具，本章咱们采纳此架构模式进行配置解说（如果在生产环境中，能够再减少 kafka 音讯队列，实现了 beats+ 音讯队列的部署架构）。

Beats 工具蕴含四种：

1、Packetbeat（收集网络流量数据）

2、Topbeat（收集零碎、过程和文件系统级别的 CPU 和内存应用状况等数据）

3、Filebeat（收集文件数据）

4、Winlogbeat（收集 Windows 事件日志数据）

3.3 ELK 工作机制

3.3.1 Filebeat 工作机制

Filebeat 由两个次要组件组成：prospectors 和 harvesters。这两个组件协同工作将文件变动发送到指定的输入中。

Harvester（收割机）：负责读取单个文件内容。每个文件会启动一个 Harvester，每个 Harvester 会逐行读取各个文件，并将文件内容发送到制订输入中。Harvester 负责关上和敞开文件，象征在 Harvester 运行的时候，文件描述符处于关上状态，如果文件在收集中被重命名或者被删除，Filebeat 会持续读取此文件。所以在 Harvester 敞开之前，磁盘不会被开释。默认状况 filebeat 会放弃文件关上的状态，直到达到 close_inactive

filebeat 会在指定工夫内将不再更新的文件句柄敞开，工夫从 harvester 读取最初一行的工夫开始计时。若文件句柄被敞开后，文件发生变化，则会启动一个新的 harvester。敞开文件句柄的工夫不取决于文件的批改工夫，若此参数配置不当，则可能产生日志不实时的状况，由 scan_frequency 参数决定，默认 10s。Harvester 应用外部工夫戳来记录文件最初被收集的工夫。例如：设置 5m，则在 Harvester 读取文件的最初一行之后，开始倒计时 5 分钟，若 5 分钟内文件无变动，则敞开文件句柄。默认 5m】。

Prospector（勘测者）：负责管理 Harvester 并找到所有读取源。

filebeat.prospectors:
- input_type: log
  paths:
    - /apps/logs/*/info.log

Prospector 会找到 /apps/logs/* 目录下的所有 info.log 文件，并为每个文件启动一个 Harvester。Prospector 会查看每个文件，看 Harvester 是否曾经启动，是否须要启动，或者文件是否能够疏忽。若 Harvester 敞开，只有在文件大小发生变化的时候 Prospector 才会执行查看。只能检测本地的文件。

Filebeat 如何记录发送状态：

将文件状态记录在文件中（默认在 /var/lib/filebeat/registry）。此状态能够记住 Harvester 收集文件的偏移量。若连贯不上输出设备，如 ES 等，filebeat 会记录发送前的最初一行，并再能够连贯的时候持续发送。Filebeat 在运行的时候，Prospector 状态会被记录在内存中。Filebeat 重启的时候，利用 registry 记录的状态来进行重建，用来还原到重启之前的状态。每个 Prospector 会为每个找到的文件记录一个状态，对于每个文件，Filebeat 存储惟一标识符以检测文件是否先前被收集。

Filebeat 如何保证数据发送胜利：

Filebeat 之所以能保障事件至多被传递到配置的输入一次，没有数据失落，是因为 filebeat 将每个事件的传递状态保留在文件中。在未失去输出方确认时，filebeat 会尝试始终发送，直到失去回应。若 filebeat 在传输过程中被敞开，则不会再敞开之前确认所有时事件。任何在 filebeat 敞开之前未确认的事件，都会在 filebeat 重启之后从新发送。这可确保至多发送一次，但有可能会反复。可通过设置 shutdown_timeout 参数来设置敞开之前的期待事件回应的工夫（默认禁用）。

3.3.2 Logstash 工作机制

Logstash 事件处理有三个阶段：inputs → filters → outputs。是一个接管，解决，转发日志的工具。反对系统日志，webserver 日志，谬误日志，利用日志等。

Input：输出数据到 logstash。

反对的输出类型：

file：从文件系统的文件中读取，相似于 tail - f 命令

syslog：在 514 端口上监听系统日志音讯，并依据 RFC3164 规范进行解析

redis：从 redis service 中读取

beats：从 filebeat 中读取

Filters：数据两头解决，对数据进行操作。

一些罕用的过滤器为：

grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的次要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式应用。内置 120 多个解析语法。

官网提供的 grok 表达式

mutate：对字段进行转换。例如对字段进行删除、替换、批改、重命名等。

drop：抛弃一部分 events 不进行解决。

clone：拷贝 event，这个过程中也能够增加或移除字段。

geoip：增加地理信息 (为前台 kibana 图形化展现应用)

Outputs：outputs 是 logstash 解决管道的最末端组件。

一个 event 能够在处理过程中通过多重输入，然而一旦所有的 outputs 都执行完结，这个 event 也就实现生命周期。

常见的 outputs 为：

elasticsearch：能够高效的保留数据，并且可能不便和简略的进行查问。

file：将 event 数据保留到文件中。

graphite：将 event 数据发送到图形化组件中，一个很风行的开源存储图形化展现的组件。

Codecs：codecs 是基于数据流的过滤器，它能够作为 input，output 的一部分配置。
Codecs 能够帮忙你轻松的宰割发送过去曾经被序列化的数据。
常见的 codecs：

json：应用 json 格局对数据进行编码 / 解码。

multiline：将多个事件中数据汇总为一个繁多的行。比方：java 异样信息和堆栈信息。

3.4 Logstash 装置配置

在 192.168.116.141 机器节点上进行装置：

  1. 下载解压

    下载：

    cd /usr/local
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2-linux-x86_64.tar.gz

    解压：

    tar -xvf logstash-7.10.2-linux-x86_64.tar.gz

  2. 创立数据存储与日志记录目录 

    [root@localhost logstash-7.10.2]# mkdir -p /usr/local/logstash-7.10.2/data
[root@localhost logstash-7.10.2]# mkdir -p /usr/local/logstash-7.10.2/logs

  3. 批改配置文件：

    vi /usr/local/logstash-7.10.2/config/logstash.yml

    配置内容：

    # 数据存储门路
path.data: /usr/local/logstash-7.10.2/data
# 监听主机地址
http.host: "192.168.116.141"
# 日志存储门路
path.logs: /usr/local/logstash-7.10.2/logs
#启动监控插件
xpack.monitoring.enabled: true 
#Elastic 集群地址
xpack.monitoring.elasticsearch.hosts:["http://192.168.116.140:9200","http://192.168.116.140:9201","http://192.168.116.140:9202"]

  4. 创立监听配置文件：

    vi /usr/local/logstash-7.10.2/config/logstash.conf

    配置：

    input {
  beats {
    # 监听端口
    port => 5044
  }
}

output {

  stdout {
    # 输入编码插件
    codec => rubydebug
  }

  elasticsearch {
    # 集群地址
    hosts => ["http://192.168.116.140:9200","http://192.168.116.140:9201","http://192.168.116.140:9202"]

  }
}

  5. 启动服务：

    以 root 用户身份执行：

    ## 后盾启动形式
nohup  /usr/local/logstash-7.10.2/bin/logstash -f /usr/local/logstash-7.10.2/config/logstash.conf &
##
./logstash -f ../config/logstash.conf

    胜利启动后会显示以下日志：

    [2020-10-15T06:57:40,640][INFO][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}

    拜访地址：http://192.168.116.141:9600/, 能够看到返回信息：

3.5 Filebeat 装置配置

在 192.168.116.141 机器节点上操作：

  1. 下载解压

    与 ElasticSearch 版本统一，下载 7.10.2 版本。

    cd /usr/local
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.2-linux-x86_64.tar.gz

    解压：

    tar -xvf filebeat-7.10.2-linux-x86_64.tar.gz

  2. 批改配置文件 

    vi /usr/local/filebeat-7.10.2/filebeat.yml

    批改内容：

    # 须要收集发送的日志文件
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
# 如果须要增加多个日志，只须要增加
- type: log
  enabled: true
  paths:
    - /var/log/test.log    
# filebeat 配置模块，能够加载多个配置
filebeat.config.modules:  
  path: ${path.config}/modules.d/*.yml  
  reload.enabled: false    
# 索引分片数量设置
setup.template.settings:
  index.number_of_shards: 2
# kibana 信息配置
setup.kibana:
  host: "192.168.116.140:5601"
# logstash 信息配置（留神只能开启一项 output 设置，如果采纳 logstash, 将 output.elasticsearch 敞开）output.logstash:  
  hosts: ["192.168.116.141:5044"]
# 附加 metadata 元数据信息
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

  3. 启动服务 

    ## 后盾启动
nohup /usr/local/filebeat-7.10.2/filebeat -e -c /usr/local/filebeat-7.10.2/filebeat.yml &
## 
./filebeat -e -c filebeat.yml

    启动胜利后显示日志：

    2020-12-15T07:09:33.922-0400    WARN    beater/filebeat.go:367  Filebeat is unable to load the Ingest Node pipelines for the configured modules because the Elasticsearch output is not configured/enabled. If you have already loaded the Ingest Node pipelines or are using Logstash pipelines, you can ignore this warning.
2020-12-15T07:09:33.922-0400    INFO    crawler/crawler.go:72   Loading Inputs: 1
2020-12-15T07:09:33.923-0400    INFO    log/input.go:148        Configured paths: [/var/log/messages]
2020-12-15T07:09:33.923-0400    INFO    input/input.go:114      Starting input of type: log; ID: 14056778875720462600 
2020-12-15T07:09:33.924-0400    INFO    crawler/crawler.go:106  Loading and starting Inputs completed. Enabled inputs: 1
2020-12-15T07:09:33.924-0400    INFO    cfgfile/reload.go:150   Config reloader started

    咱们监听的是 /var/log/messages 系统日志信息，当日志发生变化后，filebeat 会通过 logstash 上报到 Elasticsearch 中。咱们能够查看下集群的全副索引信息：

    http://192.168.116.140:9200/_…

    能够看到，曾经生成了名为 logstash-2021.07.20-000001 索引。

3.6 Kibana 配置与查看数据

  1. 进入 Kibana 后盾，进行配置：

    http://192.168.116.140:5601

    进入【Management】–> 在 Index Pattern 中输出 ”logstash-*” –> 点击【next step】, 抉择 ”@timestamp”,

    点击【Create index pattern】进行创立。

  2. 查看数据

    进入【Discover】, 能够查看到收集的数据：

如果没有显示，能够从新调整 Time Range 工夫范畴。

本文由传智教育博学谷 – 狂野架构师教研团队公布，转载请注明出处！

如果本文对您有帮忙，欢送关注和点赞；如果您有任何倡议也可留言评论或私信，您的反对是我保持创作的能源

退出移动版