关于后端:Logstash数据流引擎

Logstash- 数据流引擎

作者 | WenasWei

一 Logstash

Logstash 是具备实时流水线性能的开源数据收集引擎。Logstash 能够动静对立来自不同起源的数据，并将数据标准化到您抉择的指标地位。革除所有数据并使其民主化，以用于各种高级上游剖析和可视化用例。

1.1 Logstash 简介

Logstash 是一个数据流引擎：

• 它是用于数据物流的开源流式 ETL（Extract-Transform-Load）引擎
• 在几分钟内建设数据流管道
• 具备程度可扩大及韧性且具备自适应缓冲
• 不可知的数据源
• 具备 200 多个集成和处理器的插件生态系统
• 应用 Elastic Stack 监督和治理部署

官网介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简略来说 logstash 就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输出端传输到管道的输入端；与此同时这根管道还能够让你依据本人的需要在两头加上滤网，Logstash 提供里很多功能强大的滤网以满足你的各种利用场景。

1.2 数据处理

Logstash 是一个功能强大的工具，可与各种部署集成。它提供了大量插件，可帮忙你解析，丰盛，转换和缓冲来自各种起源的数据。如果你的数据须要 Beats 中没有的其余解决，则须要将 Logstash 增加到部署中。

当下最为风行的数据源:

Logstash 能够摄入日志，文件，指标或者网路实在数据。通过 Logstash 的解决，变为能够应用的 Web
Apps 能够耗费的数据，也能够存储于数据中心，或变为其它的流式数据:

• Logstash 能够很不便地和 Beats 一起单干，这也是被举荐的办法
• Logstash 也能够和那些驰名的云厂商的服务一起单干解决它们的数据
• 它也能够和最为同样的信息音讯队列，比方 redis 或 kafka 一起合作
• Logstash 也能够应用 JDBC 来拜访 RDMS 数据
• 它也能够和 IoT 设施一起解决它们的数据
• Logstash 不仅仅能够把数据传送到 Elasticsearch，而且它还能够把数据发送至很多其它的目的地，并作为它们的输出源做进一步的解决

二 Logstash 零碎架构

Logstash 蕴含 3 个次要局部：输出（inputs），过滤器（filters）和输入（outputs）

Logstash 的事件（logstash 将数据流中等每一条数据称之为一个 event）解决流水线有三个次要角色实现：inputs –> filters –> outputs：

• inpust：必须，负责产生事件（Inputs generate events），罕用：File、syslog、redis、kakfa、beats（如：Filebeats）
• filters：可选，负责数据处理与转换（filters modify them），罕用：grok、mutate、drop、clone、geoip
• outpus：必须，负责数据输入（outputs ship them elsewhere），罕用：elasticsearch、file、graphite、kakfa、statsd

三 Logstash 装置

3.1 环境清单

• 操作系统：Linux #56-Ubuntu SMP Tue Jun 4 22:49:08 UTC 2019 x86_64
• Logstash 版本：logstash-6.2.4
• Jdk 版本：1.8.0_152

3.2 Linux 装置 JDK

3.2.1 解压缩并挪动到指定目录（约定的目录:/usr/local）

(1)解压缩

tar -zxvf jdk-8u152-linux-x64.tar.gz

(2)创立目录

mkdir -p /usr/local/java

(3)挪动安装包

mv jdk1.8.0_152/ /usr/local/java/

(4)设置所有者

chown -R root:root /usr/local/java/

3.2.2 配置环境变量

(1)配置零碎环境变量

vi /etc/environment

(2)增加如下语句

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"
export JAVA_HOME=/usr/local/java/jdk1.8.0_152
export JRE_HOME=/usr/local/java/jdk1.8.0_152/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

(3)配置用户环境变量

nano /etc/profile

(4)增加如下语句(肯定要放两头)

if ["$PS1"]; then
  if ["$BASH"] && ["$BASH" != "/bin/sh"]; then
    # The file bash.bashrc already sets the default PS1.
    # PS1='\h:\w\$'
    if [-f /etc/bash.bashrc]; then
      . /etc/bash.bashrc
    fi
  else
    if ["`id -u`" -eq 0]; then
      PS1='#'
    else
      PS1='$'
    fi
  fi
fi

export JAVA_HOME=/usr/local/java/jdk1.8.0_152
export JRE_HOME=/usr/local/java/jdk1.8.0_152/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

if [-d /etc/profile.d]; then
  for i in /etc/profile.d/*.sh; do
    if [-r $i]; then
      . $i
    fi
  done
  unset i
fi

(5)使用户环境变量失效

source /etc/profile

(6)测试是否装置胜利

$ java -version
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

3.3 装置 Logstash

3.3.1 创立装置目录

$ sudo mkdir /usr/local/logstash

3.3.2 下载 Logstash 安装文件

$ wget -P /usr/local/logstash https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz

3.3.2 解压缩安装文件

$ cd /usr/local/logstash/
$ sudo tar -zxvf logstash-6.2.4.tar.gz

3.3.3 测试装置是否胜利

测试: 疾速启动，规范输入输出作为 input 和 output，没有 filter

$ cd logstash-6.2.4/
$ ./bin/logstash -e 'input {stdin {} } output {stdout {} }'

Sending Logstash's logs to /usr/local/logstash/logstash-6.2.4/logs which is now configured via log4j2.properties
[2021-05-27T00:22:28,729][INFO][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/usr/local/logstash/logstash-6.2.4/modules/fb_apache/configuration"}
[2021-05-27T00:22:28,804][INFO][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/usr/local/logstash/logstash-6.2.4/modules/netflow/configuration"}
[2021-05-27T00:22:29,827][WARN][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2021-05-27T00:22:30,979][INFO][logstash.runner] Starting Logstash {"logstash.version"=>"6.2.4"}
[2021-05-27T00:22:31,821][INFO][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}
[2021-05-27T00:22:36,463][INFO][logstash.pipeline] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>1, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2021-05-27T00:22:36,690][INFO][logstash.pipeline] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x55a5abea run>"}
The stdin plugin is now waiting for input:
[2021-05-27T00:22:36,853][INFO][logstash.agent] Pipelines running {:count=>1, :pipelines=>["main"]}

## 此时命令窗口停留在期待输出状态，键盘键入任意字符 ##

hello world

## 下方是 Logstash 输入到成果 ##

{
    "@timestamp" => 2021-05-26T16:22:52.527Z,
          "host" => "*******",
       "message" => "hello world",
      "@version" => "1"
}

四 Logstash 参数与配置

4.1 罕用启动参数

4.2 配置文件构造及语法

(1)区段

Logstash 通过 {} 来定义区域，区域内能够定义插件，一个区域内能够定义多个插件，如下：

input {stdin {}
    beats {port => 5044}
}

(2)数据类型

Logstash 仅反对大量的数据类型：

• Boolean：ssl_enable => true
• Number：port => 33
• String：name =>“Hello world”
• Commonts：# this is a comment

(3)字段援用

Logstash 数据流中的数据被称之为 Event 对象，Event 以 JSON 构造形成，Event 的属性被称之为字段，如果你像在配置文件中援用这些字段，只须要把字段的名字写在中括号 [] 里就行了，如 [type]，对于嵌套字段每层字段名称都写在[] 里就能够了，比方：tags；除此之外，对于 Logstash 的 arrag 类型反对下标与倒序下表，如：tags[0],tags[-1]。

(4)条件判断

Logstash 反对上面的操作符：

• equality：==, !=, <, >, <=, >=
• regexp：=~, !~
• inclusion：in, not in
• boolean：and, or, nand, xor
• unary：!

例如：

if EXPRESSION {...} else if EXPRESSION {...} else {...}

(5)环境变量援用

Logstash 反对援用零碎环境变量，环境变量不存在时能够设置默认值，例如：

export TCP_PORT=12345

input {
  tcp {port => "${TCP_PORT:54321}"
  }
}

4.3 罕用输出插件（Input plugin）

输出插件包含有以下多种，详情查看官网文档 - 罕用输出插件:

• elasticsearch
• exec
• file
• github
• http
• jdbc
• jms
• jmx
• kafka
• log4j
• rabbitmq
• redis
• tcp
• udp
• unix
• websocket

4.3.1 File 读取插件

文件读取插件次要用来抓取文件的变动信息，将变动信息封装成 Event 过程解决或者传递。

• 配置事例

  input
  file {path => ["/var/log/*.log", "/var/log/message"]
    type => "system"
    start_position => "beginning"
  }
  }

• 罕用参数

4.3.2 TCP 监听插件

TCP 插件有两种工作模式，“Client”和“Server”，别离用于发送网络数据和监听网络数据。

• 配置事例

  tcp {port => 41414}

• 罕用参数（空 => 同上）

4.3.3 Redis 读取插件

用于读取 Redis 中缓存的数据信息。

• 配置事例

  input {
  redis {
    host => "127.0.0.1"
    port => 6379
    data_type => "list"
    key => "logstash-list"
  }
  }

• 罕用参数（空 => 同上）

留神:

data_type 须要留神的是“channel”和“pattern_channel”是播送类型，雷同的数据会同时发送给订阅了该 channel 的 logstash，也就是说在 logstash 集群环境下会呈现数据反复，集群中的每一个节点都将收到同样的数据，然而在单节点状况下，“pattern_channel”能够同时定于满足 pattern 的多个 key

4.3.4 Kafka 读取插件

用于读取 Kafka 中推送的主题数据信息。

• 配置事例

  input {
  kafka {
    bootstrap_servers => "kafka-01:9092,kafka-02:9092,kafka-03:9092"
    topics_pattern  => "elk-.*"
    consumer_threads => 5
    decorate_events => true
    codec => "json"
    auto_offset_reset => "latest"
    group_id => "logstash1"##logstash 集群需雷同
  }
  }

• 罕用参数:

留神:

• auto_offset_reset: earliest- 将偏移量主动重置为最早的偏移量;latest- 主动将偏移量重置为最新偏移量;none- 如果未找到消费者组的先前偏移量，则向消费者抛出异样;anything else- 向消费者抛出异样。
• decorate_events: none：未增加元数据，basic：增加了记录的属性，extended：记录的属性，增加题目，false：不倡议应用的别名 none，true：不倡议应用的别名 basic

4.4 罕用过滤插件（Filter plugin）

丰盛的过滤器插件的是 logstash 威力如此弱小的重要因素，过滤器插件次要解决流经以后 Logstash 的事件信息，能够增加字段、移除字段、转换字段类型，通过正则表达式切分数据等，也能够依据条件判断来进行不同的数据处理形式, 详情查看官网文档 - 罕用过滤插件

4.4.1 grok 正则捕捉

grok 是 Logstash 中将非结构化数据解析成结构化数据以便于查问的最好工具，非常适合解析 syslog logs，apache log，mysql log，以及一些其余的 web log

(1)预约义表达式调用:

• Logstash 提供 120 个罕用正则表达式可供装置应用，装置之后你能够通过名称调用它们，语法如下：%{SYNTAX:SEMANTIC}
• SYNTAX：示意曾经装置的正则表达式的名称
• SEMANTIC：示意从 Event 中匹配到的内容的名称

例如:
Event 的内容为“[debug] 127.0.0.1 – test log content”，匹配 %{IP:client}将取得“client: 127.0.0.1”的后果，前提装置了 IP 表达式；如果你在捕捉数据时想进行数据类型转换能够应用 %{NUMBER:num:int}这种语法，默认状况下，所有的返回后果都是 string 类型，以后 Logstash 所反对的转换类型仅有“int”和“float”；

一个略微残缺一点的事例：

• 日志文件 http.log 内容：55.3.244.1 GET /index.html 15824 0.043
• 表达式：%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

• 配置文件内容：

  input {
  file {path => "/var/log/http.log"}
  }
  filter {
  grok {match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}
  }
  }

• 输入后果：

  client: 55.3.244.1
  method: GET
  request: /index.html
  bytes: 15824
  duration: 0.043

(2)自定义表达式调用

语法：(?<field_name>the pattern here)

举例：捕捉 10 或 11 和长度的十六进制 queue_id 能够应用表达式 (?<queue_id>[0-9A-F]{10,11})
装置自定义表达式

与预约义表达式雷同，你也能够将自定义的表达式配置到 Logstash 中，而后就能够像于定义的表达式一样应用；以下是操作步骤阐明：

• 1、在 Logstash 根目录下创立文件夹“patterns”，在“patterns”文件夹中创立文件“extra”（文件名称无所谓，可本人抉择有意义的文件名称）；

• 2、在文件“extra”中增加表达式，格局：patternName regexp，名称与表达式之间用空格隔开即可，如下：

  # contents of ./patterns/postfix:
  POSTFIX_QUEUEID [0-9A-F]{10,11}

• 3、应用自定义的表达式时须要指定“patterns_dir”变量，变量内容指向表达式文件所在的目录，举例如下：

<1> 日志内容

Jan  1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=<20130101142543.5828399CCAF@mailserver14.example.com>

<2>Logstash 配置

filter {
  grok {patterns_dir => ["./patterns"]
    match => {"message" => "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" }
  }
}

<3> 运行后果

timestamp: Jan 1 06:25:43
logsource: mailserver14
program: postfix/cleanup
pid: 21403
queue_id: BEF25A72965

(3)grok 罕用配置参数（空 => 同上）

4.4.2 date 工夫解决插件

该插件用于工夫字段的格局转换，比方将“Apr 17 09:32:01”（MMM dd HH:mm:ss）转换为“MM-dd HH:mm:ss”。而且通常状况下，Logstash 会为主动给 Event 打上工夫戳，然而这个工夫戳是 Event 的解决工夫（次要是 input 接收数据的工夫），和日志记录时间会存在偏差（次要起因是 buffer），咱们能够应用此插件用日志产生工夫替换掉默认是工夫戳的值。

罕用配置参数（空 => 同上）

留神:

match 的格局: 工夫字段匹配, 可自定多种格局，直到匹配到或匹配完结，格局: [field,formats…]，如：match=>[“logdate”,“MMM dd yyyy HH:mm:ss”,“MMM d yyyy HH:mm:ss”,“ISO8601”]

4.4.3 mutate 数据批改插件

mutate 插件是 Logstash 另一个重要插件。它提供了丰盛的根底类型数据处理能力。能够重命名，删除，替换和批改事件中的字段。

罕用配置参数（空 => 同上）

4.4.4 JSON 插件

JSON 插件用于解码 JSON 格局的字符串，个别是一堆日志信息中，局部是 JSON 格局，局部不是的状况下

(1)配置事例

json {source => ...}

• 事例配置，message 是 JSON 格局的字符串："{\"uid\":3081609001,\"type\":\"signal\"}"

  filter {
    json {
        source => "message"
        target => "jsoncontent"
    }
  }

• 输入后果:

  {
    "@version": "1",
    "@timestamp": "2014-11-18T08:11:33.000Z",
    "host": "web121.mweibo.tc.sinanode.com",
    "message": "{\"uid\":3081609001,\"type\":\"signal\"}",
    "jsoncontent": {
        "uid": 3081609001,
        "type": "signal"
    }
  }

• 如果从事例配置中删除target，输入后果如下:

  {
    "@version": "1",
    "@timestamp": "2014-11-18T08:11:33.000Z",
    "host": "web121.mweibo.tc.sinanode.com",
    "message": "{\"uid\":3081609001,\"type\":\"signal\"}",
    "uid": 3081609001,
    "type": "signal"
  }

(2)罕用配置参数（空 => 同上）

4.4.5 elasticsearch 查问过滤插件

用于查问 Elasticsearch 中的事件，可将查问后果利用于以后事件中

罕用配置参数（空 => 同上）

4.5 罕用输入插件（Output plugin）

4.5.1 ElasticSearch 输入插件

用于将事件信息写入到 Elasticsearch 中，官网举荐插件，ELK 必备插件

(1)配置事例

output {
    elasticsearch {hosts => ["127.0.0.1:9200"]
        index => "filebeat-%{type}-%{+yyyy.MM.dd}"
        template_overwrite => true
    }
}

(2)罕用配置参数（空 => 同上）

4.5.2 Redis 输入插件

用于将 Event 写入 Redis 中进行缓存，通常状况下 Logstash 的 Filter 解决比拟吃系统资源，简单的 Filter 解决会十分耗时，如果 Event 产生速度比拟快，能够应用 Redis 作为 buffer 应用

(1)配置事例

output {
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-list"
    }
}

(2)罕用配置参数（空 => 同上）

4.5.3 File 输入插件

用于将 Event 输入到文件内

(1)配置事例

output {
    file {
        path => ...
        codec => line {format => "custom format: %{message}"}
    }
}

(2)罕用配置参数（空 => 同上）

4.5.4 Kafka 输入插件

用于将 Event 输入到 Kafka 指定的 Topic 中, 官网 Kafka 详情配置

(1)配置事例

output {
    kafka {
        bootstrap_servers => "localhost:9092"
        topic_id => "test"
        compression_type => "gzip"
    }
}

(2)罕用配置参数（空 => 同上）

4.6 罕用编码插件（Codec plugin）

4.6.1 JSON 编码插件

间接输出预约义好的 JSON 数据，这样就能够省略掉 filter/grok 配置

• 配置事例

  json {}

• 罕用配置参数

  参数名称	类型	默认值	形容信息
  charset	string	“UTF-8”	字符集
  enable_metric
  id

五 Logstash 实例

5.1 接管 Filebeat 事件，输入到 Redis

input {
    beats {port => 5044}
}

output {
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-list"
    }
}

5.2 读取 Redis 数据，依据“type”判断，别离解决，输入到 ES

input {
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-list"
    }
}

filter {if [type] == "application" {
        grok {match => ["message", "(?m)-(?<systemName>.+?):(?<logTime>(?>\d\d){1,2}-(?:0?[1-9]|1[0-2])-(?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9]) (?:2[0123]|[01]?[0-9]):(?:[0-5][0-9]):(?:(?:[0-5][0-9]|60)(?:[:.,][0-9]+)?)) \[(?<level>(\b\w+\b)) *\] (?<thread>(\b\w+\b)) \((?<point>.*?)\) - (?<content>.*)"]
        }
        date {match => ["logTime", "yyyy-MM-dd HH:mm:ss,SSS"]
        }
        json {source => "message"}
        date {match => ["timestamp", "yyyy-MM-dd HH:mm:ss,SSS"]
        }
    }
    if [type] == "application_bizz" {
        json {source => "message"}
        date {match => ["timestamp", "yyyy-MM-dd HH:mm:ss,SSS"]
        }
    }
    mutate {remove_field => ["@version", "beat", "logTime"]
    }
}

output {stdout{}
    elasticsearch {hosts => ["127.0.0.1:9200"]
        index => "filebeat-%{type}-%{+yyyy.MM.dd}"
        document_type => "%{documentType}"
        template_overwrite => true
    }
}

六 利用场景

6.1 以 logstash 作为日志搜索器

架构：logstash 采集、解决、转发到 elasticsearch 存储，在 kibana 进行展现

特点：这种构造因为须要在各个服务器上部署 Logstash，而它比拟耗费 CPU 和内存资源，所以比拟适宜计算资源丰盛的服务器，否则容易造成服务器性能降落，甚至可能导致无奈失常工作。

6.2 音讯模式

音讯模式：Beats 还不反对输入到音讯队列（新版本除外：5.0 版本及以上），所以在音讯队列前后两端只能是 Logstash 实例。logstash 从各个数据源收集数据，不通过任何解决转换仅转收回到音讯队列（kafka、redis、rabbitMQ 等），后 logstash 从音讯队列取数据进行转换剖析过滤，输入到 elasticsearch，并在 kibana 进行图形化展现

架构（Logstash 进行日志解析所在服务器性能各方面必须要足够好）：

模式特点：这种架构适宜于日志规模比拟宏大的状况。但因为 Logstash 日志解析节点和 Elasticsearch 的负荷比拟重，可将他们配置为集群模式，以分担负荷。引入音讯队列，平衡了网络传输，从而升高了网络灵通，尤其是失落数据的可能性，但仍然存在 Logstash 占用系统资源过多的问题

工作流程：Filebeat 采集—> logstash 转发到 kafka—> logstash 解决从 kafka 缓存的数据进行剖析—> 输入到 es—> 显示在 kibana

6.3 logstash（非 filebeat）进行文件采集，输入到 kafka 缓存，读取 kafka 数据并解决输入到文件或 es

6.4 logstash 同步 mysql 数据库数据到 es（logstash5 版本以上已集成 jdbc 插件，无需下载安装，间接应用）

七 Logstash 和 Flume 比照

首先从构造比照，咱们会惊人的发现，两者是如许的类似！Logstash 的 Shipper、Broker、Indexer 别离和 Flume 的 Source、Channel、Sink 各自对应！只不过是 Logstash 集成了，Broker 能够不须要，而 Flume 须要独自配置，且缺一不可，但这再一次阐明了计算机的设计思维都是通用的！只是实现形式会不同而已。

从程序员的角度来说，上文也提到过了，Flume 是真的很繁琐，你须要别离作 source、channel、sink 的手工配置，而且波及到简单的数据采集环境，你可能还要做多个配置，这在下面提过了，反过来说Logstash 的配置就十分简洁清晰，三个局部的属性都定义好了，程序员本人去抉择就行，就算没有，也能够自行开发插件，十分不便。当然了，Flume 的插件也很多，但 Channel 就只有内存和文件这两种（其实当初不止了，但罕用的也就两种）。读者能够看得出来，两者其实配置都是非常灵活的，只不过看场景取舍罢了。

其实从作者和历史背景来看，两者最后的设计目标就不太一样。Flume 自身最后设计的目标是为了把数据传入 HDFS 中（并不是为了采集日志而设计，这和 Logstash 有基本的区别），所以理所应当侧重于数据的传输，程序员要十分分明整个数据的路由，并且比 Logstash 还多了一个可靠性策略，上文中的 channel 就是用于长久化目标，数据除非确认传输到下一地位了，否则不会删除，这一步是通过事务来管制的，这样的设计使得可靠性十分好。相同，Logstash 则显著偏重对数据的预处理，因为日志的字段须要大量的预处理，为解析做铺垫。

回过来看我当初为什么先讲 Logstash 而后讲 Flume？这外面有几个思考

• 其一：Logstash 其实更有点像通用的模型，所以对新人来说了解起来更简略，而 Flume 这样轻量级的线程，可能有肯定的计算机编程根底了解起来更好；
• 其二：目前大部分的状况下，Logstash 用的更加多，这个数据我本人没有统计过，然而依据教训判断，Logstash 能够和 ELK 其余组件配合应用，开发、利用都会简略很多，技术成熟，应用场景宽泛。相同 Flume 组件就须要和其余很多工具配合应用，场景的针对性会比拟强，更不必提 Flume 的配置过于繁琐简单了。

最初总结下来，咱们能够这么了解他们的区别：

Logstash 就像是买来的台式机，主板、电源、硬盘，机箱（Logstash）把外面的货色全副装好了，你能够间接用，当然也能够本人组装批改；

Flume 就像提供给你一套残缺的主板，电源、硬盘，Flume 没有打包，只是像说明书一样领导你如何组装，能力运行的起来。

参考文档:

• [1] 迷途的攻城狮.CSDN: https://blog.csdn.net/chenlei… , 2017-06-22.
• [2] Logstash 官网: https://www.elastic.co/cn/log…