Fluentd

以往有篇文章介绍 EFK（Kibana + ElasticSearch + Filebeat）的插件日志收集。Filebeat 插件用于转发和集中日志数据，并将它们转发到 Elasticsearch 或 Logstash 以进行索引，但 Filebeat 作为 Elastic 的一员，只能在 Elastic 整个体系中应用。 FluentdFluentd是一个开源的，分布式日志采集零碎，能够从不同的服务，数据源采集日志，对日志进行过滤加工，分发给多种存储和解决零碎。反对各种插件，数据缓存机制，且自身所需的资源很少，内置可靠性，联合其余服务，能够造成高效直观的日志收集平台。 本文介绍在 Rainbond 中应用 Fluentd 插件，收集业务日志，输入到多个不同的服务。 一、整合架构在收集组件日志时，只需在组件中开明 Fluentd 插件，本文将演示以下两种形式： Kibana + ElasticSearch + FluentdMinio + Fluentd咱们将 Fluentd 制作成 Rainbond 的 个别类型插件 ，在利用启动之后，插件也随之启动并主动收集日志输入到多个服务源，整个过程对利用容器无侵入，且拓展性强。 二、插件原理剖析Rainbond V5.7.0 版本中新增了：从开源利用商店装置插件，本文中的插件已公布到开源利用商店，当咱们应用时一键装置即可，依据需要批改配置文件。 Rainbond 插件体系是绝对于 Rainbond 利用模型的一部分，插件次要用来实现利用容器扩大运维能力。因为运维工具的实现有较大的共性，因而插件自身能够被复用。插件必须绑定到利用容器时才具备运行时状态，用以实现一种运维能力，比方性能剖析插件、网络治理插件、初始化类型插件。 在制作 Fluentd 插件的过程中，应用到了 个别类型插件，能够了解为一个POD启动两个 Container，Kubernetes原生反对一个POD中启动多个 Container，但配置起来绝对简单，在 Rainbond 中通过插件实现使用户操作更加简略。 三、EFK 日志收集实际Fluentd-ElasticSearch7 输入插件将日志记录写入 Elasticsearch。默认状况下，它应用批量 API创立记录，该 API 在单个 API 调用中执行多个索引操作。这缩小了开销并能够大大提高索引速度。 3.1 操作步骤利用 （Kibana + ElasticSearch）和插件（Fluentd）都能够通过开源利用商店一键部署。 ...