乐趣区

关于elk:CentOS7中搭建ELK分布式日志收集和分析-集群

jiezi

介绍

体系结构

指标

  • 在 CentOS7 中搭建 ELK 分布式日志治理；
  • 相熟 ElasticSearch 集群配置；
  • 相熟 Logstash+FileBeat 数据采集配置；
  • 相熟 Kibana 可视化治理配置；

环境

  • VMware
  • CentOS7
  • Jdk 1.8
  • elasticsearch-7.13.3-linux-x86_64.tar.gz
  • kibana-7.13.3-linux-x86_64.tar.gz
  • logstash-7.13.3-linux-x86_64.tar.gz
  • filebeat-7.13.3-linux-x86_64.tar.gz

剖析

  • ElasticSearch 集群构建

    节点 阐明
    192.168.157.120 ES 集群 1
    192.168.157.121 ES 集群 2

  • Logstash + FileBeat 日志采集节点

    节点 阐明
    192.168.157.130 日志节点
    192.168.157.131 日志节点
    192.168.157.132 日志节点

  • Kibana 可视化治理

    节点 阐明
    192.168.157.122:5601 可视化地址

约定

  • 下载寄存目录：/mysoft
  • 装置程序：ElasticSearch -> Kibana -> Logstash + filebeat

  • ElasticSearch 约定

    模块 内容
    软件装置地位 /usr/local/elasticsearch
    集群端口 9200
    集群名称 ES
    数据文件寄存目录 /usr/local/elasticsearch/data
    日志文件寄存目录 /usr/local/elasticsearch/logs
    用户 (非 root） elastic
    明码 (非 root） elastic

  • Kibana 约定

    模块 内容
    软件装置地位 /usr/local/Kibana
    本机端口 5601
    本机地址 192.168.157.122
    ES 集群节点 [“http://192.168.157.120:9200″,”http://192.168.157.121:9200”]
    用户 (非 root） kibana
    明码 (非 root） kibana

  • Logstash +fileBeat 约定

    模块 内容
    Logstash 装置地位 /usr/local/elk/logstash
    FileBeat 装置地位 /usr/local/elk/fileBeat
    发送 ES 节点 [“http://192.168.157.120:9200″,”http://192.168.157.121:9200”]

ElasticSearch 装置

  • 通用操作
  1. 进入目录
    cm /mysoft
  2. 解压包
    tar zxvf elasticsearch-7.13.3-linux-x86_64.tar.gz
  3. 挪动并批改名称
    mv elasticsearch-7.13.3 /usr/local/elasticsearch
  4. jdk 问题解决
    vi /usr/local/elasticsearch/bin/elasticsearch-env

  5. 用户与受权 

    # 创立用户
useradd elastic
# 设置明码
passwd elastic
# 赋予用户权限
chown -R elastic:elastic /usr/local/elasticsearch/

  • 配置 ES 节点 -1

    # 设置集群名称（集群名称，节点之间要保持一致）cluster.name: my-application
#设置节点名称（节点名称，集群内要惟一  例：node-1 ,node-2）node.name: node-1
# elasticsearch 数据文件寄存目录
path.data: /usr/local/elasticsearch/data
# elasticsearch 日志文件寄存目录
path.logs: /usr/local/elasticsearch/logs
#对所有 IP 凋谢
network.host: 0.0.0.0
# HTTP 端口号
http.port: 9200
# ES 集群地址
discovery.seed_hosts: ["192.168.157.120", "192.168.157.121"]
# ES 集群节点
cluster.initial_master_nodes: ["node-1", "node-2"]
#跨域配置
#action.destructive_requires_name: true

  • 配置 ES 节点 -2

    # 设置集群名称（集群名称，节点之间要保持一致）cluster.name: my-application
#设置节点名称（节点名称，集群内要惟一  例：node-1 ,node-2）node.name: node-2
# elasticsearch 数据文件寄存目录
path.data: /usr/local/elasticsearch/data
# elasticsearch 日志文件寄存目录
path.logs: /usr/local/elasticsearch/logs
#对所有 IP 凋谢
network.host: 0.0.0.0
# HTTP 端口号
http.port: 9200
# ES 集群地址
discovery.seed_hosts: ["192.168.157.120", "192.168.157.121"]
# ES 集群节点
cluster.initial_master_nodes: ["node-1", "node-2"]
#跨域配置
#action.destructive_requires_name: true

  • 启动 ES 集群 

    # 要应用 受权用户 elastic 启动
su elastic -l -c "/usr/local/elasticsearch/bin/elasticsearch"        #调试启动
su elastic -l -c "/usr/local/elasticsearch/bin/elasticsearch -d"    #后盾启动
  • 查看状态
    netstat -nltp 查看端口号

  • 单节点测试 

    # 别离拜访集群节点
http://192.168.157.120:9200/
http://192.168.157.121:9200/

    能够看到如下信息，示意单节点装置胜利

  • 集群节点测试 

    # 拜访地址 查看集群节点状态
http://192.168.157.120:9200/_cat/nodes?v
http://192.168.157.120:9200/_cluster/health

    能够看到如下信息，示意集群配置装置胜利

先暂停一下 有事外出。。。。。

退出移动版