起源：cnblogs.com/xiejava/p/12452434.html

因为nginx功能强大，性能突出，越来越多的web利用采纳nginx作为http和反向代理的web服务器。而nginx的拜访日志不论是做用户行为剖析还是平安剖析都是十分重要的数据源之一。如何无效便捷的采集nginx的日志进行无效的剖析成为大家关注的问题。

本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的拜访日志和谬误日志。

大家都晓得ELK技术栈是采集、剖析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集当前存到看大家的须要。通过logstash能够不便的配置日志输入存储的形式。

一般来说nginx默认装置后，日志文件在 /usr/local/nginx/logs 目录下。别离有 access.log和error.log 拜访日志和谬误日志。

这次示例Elasitcsearch是三个节点组成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是数据采集服务器，下面装有logstash、nginx、 filebeat。一般来说采集服务器上有logstash，而nginx、 filebeat应该是装在采集指标上。

一、间接通过filebeat采集日志到ES

在filebeat的装置目录找到filebeat.yml 配置获取日志文件的门路及输入到ES的配置。具体：

- type: log  # Change to true to enable this input configuration.  enabled: true  # Paths that should be crawled and fetched. Glob based paths.  paths:    #- /var/log/*.log    - /usr/local/nginx/logs/*.log    #- c:\programdata\elasticsearch\logs\*

如果须要在kibana中敌对显示的化，可进行kibana配置

输入到es中，在hosts中配置好你的ES服务地址。如果单机只有一个节点，就能够只配一个ip和端口。

启动filebeat 进行日志数据采集

./filebeat -e -c filebeat.yml -d "publish"

通过elasticsearch-head插件查看es索引中的日志信息

能够看到nginx中的access.log和error.log的日志都曾经上来了。在kibana中通过filebeat-*过滤看filebeat的索引，能够看到通过filebeat采过来的数据。

这种间接通过filebeat间接对接ES采日志的形式简略间接，然而无奈对采集的日志进行预处理和其余一些操作，也不够灵便。

能够在filebeat 和 ES之间加一层Logstash，能够将filebeat于ES解耦，通过Logstash能够做一些预处理，也能够通过Logstash采集到除ES以外的其余数据存储上。

二、通过filebeat采集日志到logstash再送到ES

首先得装置 logstash ，装置完后在logstash的装置目录下新建vi filebeat-pipeline.conf filebeat-pipeline.conf的具体配置如下：

input {    beats {        port => "5044"    }}output {    elasticsearch { hosts => ["172.28.65.24:9200"] }    stdout { codec => rubydebug}}

input配置示意通过5044端口接管beats的数据 output配置示意输入到elasticsearch，并且同时输入到规范输入也就是控制台。而后通过命令

bin/logstash -f filebeat-pipeline.conf --config.reload.automatic

利用filebeat-pipeline.conf启动logstash。

启动当前能够看到logstash的启动日志5044端口的服务曾经起了，能够承受通过filebeat通过5044端口传过来的数据了。

接下来配置filebeat 在filebeat的装置目录找到filebeat.yml 配置获取日志文件的门路及输入到logstash的配置。不间接输入到ES了。

具体配置如下：将output.elasticsearch的配置屏蔽配置output.logstash，配置正确的logstash的服务主机和端口

启动filebeat 进行日志数据采集

./filebeat -e -c filebeat.yml -d "publish"

咱们拜访nginx服务提供的web服务http://172.28.65.32/ 在logstash的控制台能够看到相应的拜访access.log 日志

同时在ES 中也能够看到有相应的日志数据

三、间接通过rsyslog采集日志到logstash在送到ES

在很多状况下你须要采集的web服务器并不是本人可能管制的，不是说你想装filebeat就能够让你装的，这时候就能够要求指标数据源通过 syslog 的形式将日志收回来。咱们能够再通过 logstash送到ES或其余的日志存储解决平台。

通过syslog往日志服务器上发nginx的日志有两种形式，一种就是利用nginx的配置往外发日志，一种就是通过配置linux的rsyslog的配置往外发日志。

1、通过nginx配置发送syslog到logstash

参考见nginx官网文档：http://nginx.org/en/docs/sysl...

具体配置如下：在nginx的配置文件nginx.conf中在server下配置access_log和error_log的输入形式

access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info;

配置实现后执行 ./nginx -s reload 使配置失效。这样就通过linux的rsyslog服务将nginx的日志往外发了。

接着来配置logstash的syslog的服务接管配置。在logstash的装置目录下新建vi syslog-pipeline.confsyslog-pipeline.conf的具体配置如下：

input {    syslog{        type => "system-syslog"        port => 514    }}output {    elasticsearch {        hosts => ["172.28.65.24:9200"]        index => "system-syslog-%{+YYYY.MM}"    }    stdout { codec => rubydebug}}

input配置示意通过514端口接管syslog的数据 output配置示意输入到elasticsearch，并且同时输入到规范输入也就是控制台。通过执行 bin/logstash -f syslog-pipeline.conf --config.reload.automatic 启动logstash

能够看到logstash启动当前开启了514端口的tcp和upd协定的侦听。咱们拜访nginx服务提供的web服务http://172.28.65.32/ 在logstash的控制台能够看到相应的nginx拜访access和error的日志

同样通过Elasticsearch-head在ES 中也能够看到有相应的日志数据

2、通过配置rsyslog发送syslog日志到logstash

有些老版本的nginx不反对配置syslog输入日志，或者说我想输入其余不是nginx的日志该怎么办呢？能够通过间接配置rsyslog的形式来往外发送日志。

在/etc/rsyslog.conf 中配置

$IncludeConfig /etc/rsyslog.d/*.conf

意思是能够援用内部的配置文件，援用内部的配置文件一方面能够不影响主配置文件，另一方面也比拟好治理在/etc/rsyslog.d目录下新建nginx-log.conf 配置如下：

$ModLoad imfile$InputFilePollInterval 1$WorkDirectory /var/spool/rsyslog$PrivDropToGroup adm##Nginx拜访日志文件门路，依据理论状况批改:$InputFileName /usr/local/nginx/logs/access.log$InputFileTag nginx-access:$InputFileStateFile stat-nginx-access$InputFileSeverity info$InputFilePersistStateInterval 25000$InputRunFileMonitor##Nginx谬误日志文件门路，依据理论状况批改:$InputFileName /usr/local/nginx/logs/error.log$InputFileTag nginx-error:$InputFileStateFile stat-nginx-error$InputFileSeverity error$InputFilePersistStateInterval 25000$InputRunFileMonitor*.* @172.28.65:514

配置好了当前，重启rsyslog服务

systemctl restart rsyslog

咱们拜访nginx服务提供的web服务http://172.28.65.32/ 在logstash的控制台能够看到同样的成果。

本文介绍了如何通过filebeat、logstash、rsyslog采集nginx的拜访日志和谬误日志的几种形式，具体须要依据理论状况灵便的使用。

近期热文举荐：

1.1,000+ 道 Java面试题及答案整顿(2021最新版)

2.别在再满屏的 if/ else 了，试试策略模式，真香！！

3.卧槽！Java 中的 xx ≠ null 是什么新语法？

4.Spring Boot 2.5 重磅公布，光明模式太炸了！

5.《Java开发手册（嵩山版）》最新公布，速速下载！

感觉不错，别忘了顺手点赞+转发哦！