关于大数据:视频小课堂ELK和Kafka是怎么就玩在一起成了日志采集解决方案文字版

2次阅读

共计 1291 个字符，预计需要花费 4 分钟才能阅读完成。

视频文字版

明天呢我就带来了一期视频，次要就是讲 ELK 和 Kafka 之间的通信关系通过对一张通信图，和一些操作命令，让咱们能更深刻的去了解 ELK 在日志采集过程当中以及 Kafka 在音讯队列散发过程当中，它们是如何进行配置应用的，以及它们之间的通信机制心愿对您的学习有所帮忙，谢谢！
咱们的指标是一台主机主机上的服务会产生日志，例如 /var/log 目录上面会一直产生各种日志记录咱们把这个采集范畴称为日志采集源这时候咱们把 ELK 的文件采集器 filebeat 部署到这台主机上，让它实时监测并增量采集最新的日志记录 Filebeat 能够给 ELK 家族的 Elasticsearch 搜索引擎间接推送采集日志也能够给 ELK 另外一个日志管道工具 Logstash 间接推送采集日志最要害的一步是 filebeat 能够将日志作为音讯间接推送给 Kafka 集群。

咱们就通过命令操作演示，更具体的看看它到底是怎么配置的首先通过 pwd 命令，查看一下 filebeat 所在的目录，我的装置目录在 /opt/filebeat 目录下而后咱们再用 ls 命令查看一下目录上面的文件，找到 filebeat 的配置文件 filebeat.yml。

接着咱们用 vi 命令编辑并查看 filebeat.yml 文件咱们用 output 关键字，搜寻 filebeat 采集输入的配置，通过 n 键匹配，咱们找到了第一个配置点：Elastisearch 输入好，咱们能够看到曾经被 #注掉的 Elastisearch，证实 filebeat 采集到数据不会输入给 Elasticsearch。同时能够看到 Elasticsearch 接管地址是 node1，端口是 9200。好！接着持续按 n 键搜寻下一个输入，这时候咱们找到了第二个配置点：Logstash 输入咱们同样能够看到曾经被 #注掉的 Logstash，证实 filebeat 采集到数据不会推给 logstash，同时能够看到 Logstash 的接管地址：node1，端口 5044Ok，咱们接着持续按 n 键搜寻最初一个数据，这时候咱们找到了最初一个输入点：Kafka 输入这次 Kafka 的输入没有被正文掉，证实 filebeat 采集到的数据肯定会输入给 Kafka 同时咱们看到接收数据的 Kafka 集群是由三台机器组成 node2、node3、node4，端口都是 9092 推送给 Kafka 的 topic 是 testT3

通过命令演示中的配置，让咱们寻求一种最正当的日志管道传输解决方案，首先 filebeat 将数据推送给 Kafka 集群，这样能够造成一个大吞吐承载力的数据缓冲区，而且由 Kafka 能够接管更多的 filebeat 采集点接着 Logstash 作为 Kafka 的消费者客户端订阅 testT3 Topic，Logstash 具备了各种过滤器，编解码器，进行数据荡涤，能够为下一阶段的输入提供更高质量的日志数据最初 Logstash 将日志数据写入 elasticsearch 集群的索引当中，实现日志的最终落地。