关于mysql:Elasticsearch生态圈

Elasticsearch 生态圈

Elasticsearch 次要性能

1. 海量数据的分布式存储和集群治理
    1. 服务和数据的高可用，程度扩大
2. 近实时搜寻，性能卓越
    1. 结构化 / 全文 / 地理位置 / 主动实现
3. 海量数据的近实时剖析
    1. 数据聚合 

Elastic Stack 家族成员以及利用场景

Logstash(做日志采集与解决)

1. 开源的服务器端数据处理管道，反对从不同的起源采集数据，转换数据，并将数据发送到不同的存储库中
2. 实时解析和转换数据
    1. 从 IP 地址破译出地理坐标
    2. 讲 PLL 数据匿名化，齐全排除敏感字段
3. 可扩大
    1. 200 多个插件 (日志，数据库，Arcsigh，Netflow)
4. 可靠性安全性
    1. Logstash 会通过长久化队列来保障将运行中的事件至多送达一次
    2. 数据传输加密
5. 监控    

Kibana(可视化剖析利器)

1. 基于 Logstash 做各种各样的图表剖析 

Beats 轻量级数据采集器

1. 各种数据源的抓取 

X-pack(商业化套件)

1. 平安
2. 告警
3. 监控
4. 图查问
5. 机器学习 

ELK 利用场景

1. 网站搜寻 / 垂直搜寻 / 代码搜寻
2. 日志治理与剖析 / 平安指标监控 / 利用性能监控 /web 专区舆情剖析 

流程

1. 日志收集
2. 格式化剖析
3. 全文检索
4. 危险告警 

Elastichsearch 与数据库集成

1. 独自应用 elastichsearch 作为存储
2. 以下状况能够思考与数据库集成 (先写入数据库，再同步 elastichsearch)
    1. 与现有零碎的集成
    2. 须要思考事务性
    3. 数据更新频繁 

指标剖析 / 日志剖析流程图

更多内容欢送关注我的集体公众号“韩哥有话说”，100G 人工智能学习材料，大量后端学习材料等你来拿。

本文由博客群发一文多发等经营工具平台 OpenWrite 公布