关于mysql:Elasticsearch生态圈

Elasticsearch生态圈

Elasticsearch次要性能

1. 海量数据的分布式存储和集群治理
    1. 服务和数据的高可用，程度扩大
2. 近实时搜寻，性能卓越
    1. 结构化/全文/地理位置/主动实现
3. 海量数据的近实时剖析
    1. 数据聚合

Elastic Stack家族成员以及利用场景

Logstash(做日志采集与解决)

1. 开源的服务器端数据处理管道，反对从不同的起源采集数据，转换数据，并将数据发送到不同的存储库中
2. 实时解析和转换数据
    1. 从IP地址破译出地理坐标
    2. 讲PLL数据匿名化，齐全排除敏感字段
3. 可扩大
    1. 200多个插件(日志，数据库，Arcsigh，Netflow)
4. 可靠性安全性
    1. Logstash会通过长久化队列来保障将运行中的事件至多送达一次
    2. 数据传输加密
5. 监控    

Kibana(可视化剖析利器)

1. 基于Logstash做各种各样的图表剖析

Beats 轻量级数据采集器

1. 各种数据源的抓取

X-pack(商业化套件)

1. 平安
2. 告警
3. 监控
4. 图查问
5. 机器学习

ELK利用场景

1. 网站搜寻/垂直搜寻/代码搜寻
2. 日志治理与剖析/平安指标监控/利用性能监控/web专区舆情剖析 

流程

1. 日志收集
2. 格式化剖析
3. 全文检索
4. 危险告警

Elastichsearch与数据库集成

1. 独自应用elastichsearch作为存储
2. 以下状况能够思考与数据库集成(先写入数据库，再同步elastichsearch)
    1. 与现有零碎的集成
    2. 须要思考事务性
    3. 数据更新频繁

指标剖析/日志剖析流程图

更多内容欢送关注我的集体公众号“韩哥有话说”，100G人工智能学习材料，大量后端学习材料等你来拿。

本文由博客群发一文多发等经营工具平台 OpenWrite 公布