关于elastic-stack:Elastic-Stack概述

Elastic Stack 是什么？

Elastic Stack 是一系列由 Elastic 公司开发的产品组件，可能安全可靠地获取任何 起源、任何格局的数据，而后实时地对数据进行搜寻、剖析和可视化。Elastic Stack 旧称 ELK Stack，次要有 Elasticsearch，Logstash，Kibana，Beats 四种组件组成。

特点

• 配置简略，开箱即用

  上手简略，只须要批改几行配置，就能疾速搭建起一套 Elastic Stack 平台。

• 多种数据源反对

  Beats 组件反对多种数据类型，可能疾速满足日志，指标，网络数据等多种数据源 接入的需要。

• 性能优异

  无论是数据写入还是实时检索，性能都相当优异。

• 集群扩展性强

  Elasticsearch 和 Kibana 均能够进行灵便扩大，可能无效进步集群性能和高可用 性。

• 多维度剖析

  得益于 Elasticsearch 弱小的搜寻能力和 Kibana 优良的可视化性能，可能从多个 维度，对数据进行聚合剖析并且展现。

## Elastic Stack 利用场景

Elastic Stack 除了采集提供采集各类日志的能力外，它还提供了许多开箱即用的场 景：企业搜寻，可观测性，平安解决方案等。

企业搜寻

​ Elastic 企业搜寻由 Elasticsearch 提供反对，性能优异，同时其采纳的相关性模型 已针对实际的天然搜寻进行优化且失去了实际验证，因而可能疾速投入利用。同时它又 提供了灵便的定制选项，能够让客户疾速依据本身须要打造粗劣又天然的搜寻体验。

可观测性

Elastic Stack 将你的可观测性数据对立到一个弱小的数据存储中，便于你实时搜寻 并利用交互式剖析。凭借日志、指标和 APM 追踪之间的直观导航，便能依赖 Machine Learning 裸露异样数值，并对你零碎中产生的所有事件采取对策。同时提供良好的可视 化体验，可能以最直观的形式展现你的数据，完满把握零碎运行状态。

Elasticsearch 在 Elastic Stack 中的地位及能力

Elasticsearch 提供数据的存储及检索能力，并且它是最 外围的组件。内部数据采集到 Elasticsearch 后，用户便可针对他们的数据运行简单的 查问，并应用聚合来检索本身数据的简单汇总。

Elasticsearch Index

• 是什么？ 是互相关联的文档汇合：Elasticsearch 以 JSON 文档 的模式存储数据。每个文档都会在一组键（字段或属性的名称）和它们对应的值（字符 串、数字、布尔值、日期、数组自值、地理位置或其余类型的数据）之间建立联系
• 底层数据结构 ：为倒排索引的数据结构，这一构造的设计能够容许非常疾速地进行全文本搜寻。倒排索引会列出在所有文档中呈现的每个特有词汇，并且能够找到蕴含每个词汇的全副文档。

Elasticsearch 能力

• Elasticsearch 很快

  Elasticsearch 同时还是一个近实时的搜寻平台，这意味着从文档索引操作到 文档变为可搜寻状态之间的延时很短，个别只有一秒（这个能够同过配置进行调整）。因而，Elasticsearch 十分实用于对工夫有严苛要求的用例，例如平安剖析和基础设施监测。

• Elasticsearch 具备分布式的本质特征

  Elasticsearch 中存储的文档散布在不同的容器中，这些容器称为分片，能够进行复 制以提供数据冗余正本，以防产生硬件故障。Elasticsearch 的分布式个性使得它能够扩 展至数百台（甚至数千台）服务器，并解决 PB 量级的数据。

• Elasticsearch 优异的相关性检索能力

  Elasticsearch 底层采纳倒排索引的数据结构，检索过程中采纳优异的相关性计算算 法，因而 Elasticsearch 具备优异的相关性检索能力，它能基于多个维度多搜寻后果进 行评分，因而它能够与业务需要进行联合，达到满足用户需要的搜寻后果。

• Elasticsearch 蕴含一系列宽泛的性能

  除了速度、可扩展性和弹性等劣势以外，Elasticsearch 还有大量弱小的内置性能（例 如数据汇总和索引生命周期治理），能够不便用户更加高效地存储和搜寻数据。

Logstash 在 Elastic Stack 中的地位及能力

Logstash 在 Elastic Stack 中的作用

​ Logstash 是一个开源的服务器端数据处理管道，容许你在将数据索引到 Elasticsearch 之前同时从多个起源采集数据，并对数据进行丰盛和转换。

Logstash 能力

• 采集各种款式、大小和起源的数据

  Logstash 反对多 种输出抉择，能够同时从泛滥罕用起源捕获事件。可能以间断的流式传输方式，轻松地 从你的日志、指标、Web 利用、数据存储以及各种 AWS 服务采集数据。

• 实时解析和转换数据

  数据从源传输到存储库的过程中，Logstash 过滤器可能解析各个事件，辨认已命名 的字段以构建构造，并将它们转换成通用格局，以便进行更弱小的剖析和实现商业价值。

  Logstash 可能动静地转换和解析数据，不受格局或复杂度的影响，比方： 利用 Grok 从非结构化数据中派生出构造  从 IP 地址破译出地理坐标  将 PII（Personal Identifiable Information）数据匿名化，齐全排除敏感字段  简化整体解决，不受数据源、格局或架构的影响。

• Logstash 扩展性

  Logstash 采纳可插拔框架，领有 200 多个插件。

Kibana 在 Elastic Stack 中的地位及能力

Kibana 在 Elastic Stack 中的作用

​ Kibana 是一款实用于 Elasticsearch 的数据可视化和管理工具，能够提供实时的直 方图、线形图、饼状图和表格等等。可将 Kibana 作为用户界面来监测和治理 Elastic Stack 集群并确保集群安全性，还可将其作为基于 Elastic Stack 所开发内置解 决计划的会集核心。

Kibana 能力

Kibana 与 Elasticsearch 和更广意义上的 Elastic Stack 严密集成，这一点使其成 为反对下列场景的现实之选，搜寻、查看并可视化 Elasticsearch 中所索引的数据，并通过创立柱状图、饼状图、表格、直方图和地图对数据进行剖析。仪表板视图能将这些可视化元素集中到一起，然 后通过浏览器加以分享，以提供无关海量数据的实时剖析视图，为下列用例提供反对：

• 日志解决和剖析
• 基础设施指标和容器监测
• 应用程序性能监测 (APM)
• 天文空间数据分析和可视化
• 平安剖析
• 业务剖析

• 机器学习

  借助网络界面来监测和治理 Elastic Stack 实例并确保实例的平安。

Beats 在 Elastic Stack 中的地位及能力

Beats 在 Elastic Stack 中的作用

Beats 在 Elastic stack 中是数据的采集器，Beats 能够从你的各种环境中收集日 志，指标，平安数据或者网路数据，而后通过来自主机、诸如 Docker 和 Kubernetes 等容器平台以及云服务提供商的必要元数据对这些内容进行记录，而后再传输到 ElasticStack 中。

Beats 诞生的起因

ELK 在最后仅蕴含 Elasticsearch，Kibana，Logstash。在旧有的日志采集零碎中，数据管道蕴含 3 个次要阶段，数据采集，数据处理和存储，其中的前两个阶段均由 Logstash 进行承当。而后因为 Logstash 的设计导致的外在问题，经常产生性能问题，尤其是在有简单的管道解决流程中。因而，转移 Logstash 的想法也利用而生，因而将 数据提取工作抽离之后，就诞生了 Beats。

Beats 长处

• 即插即用

​ Beats 可能简化从要害数据源（例如云平台、容器和零碎，以及网络技术）采集、解析和可视化信息的过程。只需一行命令，就能实现数据的采集。

• 扩大项强

​ Beats 提供了大量不同类型的采集器，同时提供了自定义协定所需的构建基石，方 便扩大，同时 Beats 社区在一直状态，将来将会诞生满足更多场景的 Beats。

• 轻量易部署

​ 相较于 Logstash，Beats 体积更小，性能更高，可能疾速接入不同的数据源进行采 集。

Beats 系列

​ Beats 提供了多种类型的采集器，不便你即插即用，搞定大多数数据类型的采集。

• Filebeats：

采集日志文件 Filebeat 随附可观测性和平安数据源模块，这些模块简化了常见格局的日志的收集、解析和可视化过程，只需一条命令即可。之所以能实现这一点，是因为它将主动默认路 径（因操作系统而异）与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在 一起。不仅如此，Filebeat 的一些模块还随附了预配置的 Machine Learning 作业。

• Metricbeat：

采集指标 将 Metricbeat 部署到你的所有 Linux、Windows 和 Mac 主机，并将它连贯到 Elasticsearch 就功败垂成了：你能够获取零碎级的 CPU 使用率、内存、文件系统、磁 盘 IO 和网络 IO 统计数据，还可针对零碎上的每个过程取得与 top 命令相似的统计数据。

• Packetbeat：

  采集网络数据 HTTP 等网络协议可能让你亲密监测应用程序提早和谬误、响应工夫、SLA 性能、用户拜访模式和趋势等等。而 Packetbeat 则让你可能拜访这些数据，理解流量的网络 传输状态。这款工具齐全采纳被动模式，毫无提早开销，并且不会障碍你的基础架构。

• Winlogbeat：

采集 Windows 事件日志 用于亲密监控基于 Windows 的基础设施上产生的事件。应用 Winlogbeat，将 Windows 事件日志流式传输至 Elasticsearch 和 Logstash。

• Auditbeat：

采集审计数据 你能够应用既有审计规定来轻而易举地收集数据，而无需重写规定。是谁在什么时 间做了什么事件？Auditbeat 会记住所有这些原始的零碎调用数据，以及相关联的门路，不便你理解所需的上下文信息。

• Heartbeat：

采集运行工夫监控 无论你要测试同一台主机上的服务，还是要测试凋谢网络上的服务，Heartbeat 都能轻松生成运行工夫数据和响应工夫数据。

• Functionbeat：

无需服务器的采集器 你可能通过无服务器架构部署代码，省去了启动和治理额定的底层软件和硬件的麻 烦。通过 Functionbeat，你可能同样简略地监测云端基础架构。

• Journalbeat：

  journald 日志采集器。