关于java:Elasticsearch-Logstash-Kibana搭建ELK日志分析平台官方推荐的BEATS架构

11次阅读

共计 6862 个字符，预计需要花费 18 分钟才能阅读完成。

俗话话说的号，没有金刚钻，也不揽那瓷器活；日志剖析能够说是所有大小零碎的标配了，不晓得有多少菜鸟程序员有多喜爱日志，如果没了日志，那本人写的 bug 想不被他人发现，可就难了；
有了它，就可将 bug 们通通消化在本人手里。

当然了，作为一个架构师搭建入手搭建一个日志平台也根本是必备技能了，尽管咱们说架构师根本不咋写代码了，然而如果须要的时候，还是能扛枪的

大家能够看下架构师要具备的能力：
那些年薪 50 万，却不写代码的程序员，到底赢在哪？
原来，百万年薪的架构师都是这样应用 redis 的！

ELK 是三个开源软件的缩写，别离示意：Elasticsearch , Logstash 和 Kibana。Elasticsearch 和 Kibana 咱们下面做过解说。Logstash 次要是用来日志的收集、剖析、过滤日志的工具，实用大数据量场景，个别采纳 c / s 模式，client 端装置在须要收集日志的主机上，server 端负责将收到的各节点日志进行过滤、批改等操作，再一并发往 Elasticsearch 上做数据分析。

一个残缺的集中式日志零碎，须要蕴含以下几个次要特点：

收集-可能采集多种起源的日志数据
传输-可能稳固的把日志数据传输到地方零碎
存储-如何存储日志数据
剖析-能够反对 UI 剖析
正告-可能提供错误报告，监控机制

ELK 提供了一整套解决方案，并且都是开源软件，之间互相配合应用，完满连接，高效的满足了很多场合的利用，是目前支流的一种日志剖析平台。

这是最简略的一种 ELK 部署架构形式，由 Logstash 散布于各个节点上收集相干日志、数据，并通过剖析、过滤后发送给远端服务器上的 Elasticsearch 进行存储。长处是搭建简略，易于上手，毛病是 Logstash 耗资源较大，依赖性强，没有音讯队列缓存，存在数据失落隐患

该队列架构引入了 KAFKA 音讯队列，解决了各采集节点上 Logstash 资源消耗过大，数据失落的问题，各终端节点上的 Logstash Agent 先将数据 / 日志传递给 Kafka，音讯队列再将数据传递给 Logstash，Logstash 过滤、剖析后将数据传递给 Elasticsearch 存储，由 Kibana 将日志和数据出现给用户。

该架构的终端节点采纳 Beats 工具收集发送数据，更灵便，耗费资源更少，扩展性更强。同时可配置 Logstash 和 Elasticsearch 集群用于反对大集群零碎的运维日志数据监控和查问，官网也举荐采纳此工具，本章咱们采纳此架构模式进行配置解说（如果在生产环境中，能够再减少 kafka 音讯队列，实现了 beats+ 音讯队列的部署架构）。

Beats 工具蕴含四种：

1、Packetbeat（收集网络流量数据）

2、Topbeat（收集零碎、过程和文件系统级别的 CPU 和内存应用状况等数据）

3、Filebeat（收集文件数据）

4、Winlogbeat（收集 Windows 事件日志数据）

Filebeat 由两个次要组件组成：prospectors 和 harvesters。这两个组件协同工作将文件变动发送到指定的输入中。

Harvester（收割机）：负责读取单个文件内容。每个文件会启动一个 Harvester，每个 Harvester 会逐行读取各个文件，并将文件内容发送到制订输入中。Harvester 负责关上和敞开文件，象征在 Harvester 运行的时候，文件描述符处于关上状态，如果文件在收集中被重命名或者被删除，Filebeat 会持续读取此文件。所以在 Harvester 敞开之前，磁盘不会被开释。默认状况 filebeat 会放弃文件关上的状态，直到达到 close_inactive

filebeat 会在指定工夫内将不再更新的文件句柄敞开，工夫从 harvester 读取最初一行的工夫开始计时。若文件句柄被敞开后，文件发生变化，则会启动一个新的 harvester。敞开文件句柄的工夫不取决于文件的批改工夫，若此参数配置不当，则可能产生日志不实时的状况，由 scan_frequency 参数决定，默认 10s。Harvester 应用外部工夫戳来记录文件最初被收集的工夫。例如：设置 5m，则在 Harvester 读取文件的最初一行之后，开始倒计时 5 分钟，若 5 分钟内文件无变动，则敞开文件句柄。默认 5m】。

Prospector（勘测者）：负责管理 Harvester 并找到所有读取源。

filebeat.prospectors:
- input_type: log
  paths:
    - /apps/logs/*/info.log

Prospector 会找到 /apps/logs/* 目录下的所有 info.log 文件，并为每个文件启动一个 Harvester。Prospector 会查看每个文件，看 Harvester 是否曾经启动，是否须要启动，或者文件是否能够疏忽。若 Harvester 敞开，只有在文件大小发生变化的时候 Prospector 才会执行查看。只能检测本地的文件。

Filebeat 如何记录发送状态：

将文件状态记录在文件中（默认在 /var/lib/filebeat/registry）。此状态能够记住 Harvester 收集文件的偏移量。若连贯不上输出设备，如 ES 等，filebeat 会记录发送前的最初一行，并再能够连贯的时候持续发送。Filebeat 在运行的时候，Prospector 状态会被记录在内存中。Filebeat 重启的时候，利用 registry 记录的状态来进行重建，用来还原到重启之前的状态。每个 Prospector 会为每个找到的文件记录一个状态，对于每个文件，Filebeat 存储惟一标识符以检测文件是否先前被收集。

Filebeat 如何保证数据发送胜利：

Filebeat 之所以能保障事件至多被传递到配置的输入一次，没有数据失落，是因为 filebeat 将每个事件的传递状态保留在文件中。在未失去输出方确认时，filebeat 会尝试始终发送，直到失去回应。若 filebeat 在传输过程中被敞开，则不会再敞开之前确认所有时事件。任何在 filebeat 敞开之前未确认的事件，都会在 filebeat 重启之后从新发送。这可确保至多发送一次，但有可能会反复。可通过设置 shutdown_timeout 参数来设置敞开之前的期待事件回应的工夫（默认禁用）。

Logstash 事件处理有三个阶段：inputs → filters → outputs。是一个接管，解决，转发日志的工具。反对系统日志，webserver 日志，谬误日志，利用日志等。

Input：输出数据到 logstash。

反对的输出类型：

file：从文件系统的文件中读取，相似于 tail - f 命令

syslog：在 514 端口上监听系统日志音讯，并依据 RFC3164 规范进行解析

redis：从 redis service 中读取

beats：从 filebeat 中读取

Filters：数据两头解决，对数据进行操作。

一些罕用的过滤器为：

grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的次要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式应用。内置 120 多个解析语法。

官网提供的 grok 表达式

mutate：对字段进行转换。例如对字段进行删除、替换、批改、重命名等。

drop：抛弃一部分 events 不进行解决。

clone：拷贝 event，这个过程中也能够增加或移除字段。

geoip：增加地理信息 (为前台 kibana 图形化展现应用)

Outputs：outputs 是 logstash 解决管道的最末端组件。

一个 event 能够在处理过程中通过多重输入，然而一旦所有的 outputs 都执行完结，这个 event 也就实现生命周期。

常见的 outputs 为：

elasticsearch：能够高效的保留数据，并且可能不便和简略的进行查问。

file：将 event 数据保留到文件中。

graphite：将 event 数据发送到图形化组件中，一个很风行的开源存储图形化展现的组件。

Codecs：codecs 是基于数据流的过滤器，它能够作为 input，output 的一部分配置。
Codecs 能够帮忙你轻松的宰割发送过去曾经被序列化的数据。
常见的 codecs：

json：应用 json 格局对数据进行编码 / 解码。

multiline：将多个事件中数据汇总为一个繁多的行。比方：java 异样信息和堆栈信息。

在 192.168.116.141 机器节点上进行装置：

下载解压

下载：

cd /usr/local
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2-linux-x86_64.tar.gz

解压：

tar -xvf logstash-7.10.2-linux-x86_64.tar.gz

创立数据存储与日志记录目录

[root@localhost logstash-7.10.2]# mkdir -p /usr/local/logstash-7.10.2/data
[root@localhost logstash-7.10.2]# mkdir -p /usr/local/logstash-7.10.2/logs

批改配置文件：

vi /usr/local/logstash-7.10.2/config/logstash.yml

配置内容：

# 数据存储门路
path.data: /usr/local/logstash-7.10.2/data
# 监听主机地址
http.host: "192.168.116.141"
# 日志存储门路
path.logs: /usr/local/logstash-7.10.2/logs
#启动监控插件
xpack.monitoring.enabled: true 
#Elastic 集群地址
xpack.monitoring.elasticsearch.hosts:["http://192.168.116.140:9200","http://192.168.116.140:9201","http://192.168.116.140:9202"]

创立监听配置文件：

vi /usr/local/logstash-7.10.2/config/logstash.conf

配置：

input {
  beats {
    # 监听端口
    port => 5044
  }
}

output {

  stdout {
    # 输入编码插件
    codec => rubydebug
  }

  elasticsearch {
    # 集群地址
    hosts => ["http://192.168.116.140:9200","http://192.168.116.140:9201","http://192.168.116.140:9202"]

  }
}

启动服务：

以 root 用户身份执行：

## 后盾启动形式
nohup  /usr/local/logstash-7.10.2/bin/logstash -f /usr/local/logstash-7.10.2/config/logstash.conf &
##
./logstash -f ../config/logstash.conf

胜利启动后会显示以下日志：

[2020-10-15T06:57:40,640][INFO][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}

拜访地址：http://192.168.116.141:9600/, 能够看到返回信息：

在 192.168.116.141 机器节点上操作：

下载解压

与 ElasticSearch 版本统一，下载 7.10.2 版本。

cd /usr/local
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.2-linux-x86_64.tar.gz

解压：

tar -xvf filebeat-7.10.2-linux-x86_64.tar.gz

批改配置文件

vi /usr/local/filebeat-7.10.2/filebeat.yml

批改内容：

# 须要收集发送的日志文件
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
# 如果须要增加多个日志，只须要增加
- type: log
  enabled: true
  paths:
    - /var/log/test.log    
# filebeat 配置模块，能够加载多个配置
filebeat.config.modules:  
  path: ${path.config}/modules.d/*.yml  
  reload.enabled: false    
# 索引分片数量设置
setup.template.settings:
  index.number_of_shards: 2
# kibana 信息配置
setup.kibana:
  host: "192.168.116.140:5601"
# logstash 信息配置（留神只能开启一项 output 设置，如果采纳 logstash, 将 output.elasticsearch 敞开）output.logstash:  
  hosts: ["192.168.116.141:5044"]
# 附加 metadata 元数据信息
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

启动服务

## 后盾启动
nohup /usr/local/filebeat-7.10.2/filebeat -e -c /usr/local/filebeat-7.10.2/filebeat.yml &
## 
./filebeat -e -c filebeat.yml

启动胜利后显示日志：

2020-12-15T07:09:33.922-0400    WARN    beater/filebeat.go:367  Filebeat is unable to load the Ingest Node pipelines for the configured modules because the Elasticsearch output is not configured/enabled. If you have already loaded the Ingest Node pipelines or are using Logstash pipelines, you can ignore this warning.
2020-12-15T07:09:33.922-0400    INFO    crawler/crawler.go:72   Loading Inputs: 1
2020-12-15T07:09:33.923-0400    INFO    log/input.go:148        Configured paths: [/var/log/messages]
2020-12-15T07:09:33.923-0400    INFO    input/input.go:114      Starting input of type: log; ID: 14056778875720462600 
2020-12-15T07:09:33.924-0400    INFO    crawler/crawler.go:106  Loading and starting Inputs completed. Enabled inputs: 1
2020-12-15T07:09:33.924-0400    INFO    cfgfile/reload.go:150   Config reloader started

咱们监听的是 /var/log/messages 系统日志信息，当日志发生变化后，filebeat 会通过 logstash 上报到 Elasticsearch 中。咱们能够查看下集群的全副索引信息：

http://192.168.116.140:9200/_…

能够看到，曾经生成了名为 logstash-2021.07.20-000001 索引。

进入 Kibana 后盾，进行配置：

http://192.168.116.140:5601

进入【Management】–> 在 Index Pattern 中输出 ”logstash-*” –> 点击【next step】, 抉择 ”@timestamp”,

点击【Create index pattern】进行创立。
查看数据

进入【Discover】, 能够查看到收集的数据：

如果没有显示，能够从新调整 Time Range 工夫范畴。

本文由传智教育博学谷 – 狂野架构师教研团队公布，转载请注明出处！

如果本文对您有帮忙，欢送关注和点赞；如果您有任何倡议也可留言评论或私信，您的反对是我保持创作的能源

正文完

java

发表至： java

2022-07-27

0

追踪解析Spring ioc启动源码(3)

关于java:异常

关于java:macOS-配置-Java-和-Maven-环境

关于java:剑指offer34题我竟然发现递归中无用的return很影响性能

关于前端:收藏0-基础开源数据可视化平台-FlyFish-大屏开发指南

关于java:Elasticsearch-Logstash-Kibana搭建ELK日志分析平台官方推荐的BEATS架构

ELK 部署利用与工作机制

3.1 ELK 日志剖析平台介绍

3.2 ELK 部署架构模式

3.2.1 简略架构

3.2.2 音讯队列架构

3.2.3 BEATS 架构

3.3 ELK 工作机制

3.3.1 Filebeat 工作机制

3.3.2 Logstash 工作机制

3.4 Logstash 装置配置

3.5 Filebeat 装置配置

3.6 Kibana 配置与查看数据

站内搜索