Elasticsearch生态圈
Elasticsearch次要性能
1. 海量数据的分布式存储和集群治理 1. 服务和数据的高可用,程度扩大2. 近实时搜寻,性能卓越 1. 结构化/全文/地理位置/主动实现3. 海量数据的近实时剖析 1. 数据聚合
Elastic Stack家族成员以及利用场景
Logstash(做日志采集与解决)
1. 开源的服务器端数据处理管道,反对从不同的起源采集数据,转换数据,并将数据发送到不同的存储库中2. 实时解析和转换数据 1. 从IP地址破译出地理坐标 2. 讲PLL数据匿名化,齐全排除敏感字段3. 可扩大 1. 200多个插件(日志,数据库,Arcsigh,Netflow)4. 可靠性安全性 1. Logstash会通过长久化队列来保障将运行中的事件至多送达一次 2. 数据传输加密5. 监控
Kibana(可视化剖析利器)
1. 基于Logstash做各种各样的图表剖析
Beats 轻量级数据采集器
1. 各种数据源的抓取
X-pack(商业化套件)
1. 平安2. 告警3. 监控4. 图查问5. 机器学习
ELK利用场景
1. 网站搜寻/垂直搜寻/代码搜寻2. 日志治理与剖析/平安指标监控/利用性能监控/web专区舆情剖析
流程
1. 日志收集2. 格式化剖析3. 全文检索4. 危险告警
Elastichsearch与数据库集成
1. 独自应用elastichsearch作为存储2. 以下状况能够思考与数据库集成(先写入数据库,再同步elastichsearch) 1. 与现有零碎的集成 2. 须要思考事务性 3. 数据更新频繁
指标剖析/日志剖析流程图
更多内容欢送关注我的集体公众号“韩哥有话说”,100G人工智能学习材料,大量后端学习材料等你来拿。
本文由博客群发一文多发等经营工具平台 OpenWrite 公布