关于elk:CentOS7中搭建ELK分布式日志收集和分析-集群

37次阅读

共计 2566 个字符,预计需要花费 7 分钟才能阅读完成。

介绍

体系结构

指标

  • 在 CentOS7 中搭建 ELK 分布式日志治理;
  • 相熟 ElasticSearch 集群配置;
  • 相熟 Logstash+FileBeat 数据采集配置;
  • 相熟 Kibana 可视化治理配置;

环境

  • VMware
  • CentOS7
  • Jdk 1.8
  • elasticsearch-7.13.3-linux-x86_64.tar.gz
  • kibana-7.13.3-linux-x86_64.tar.gz
  • logstash-7.13.3-linux-x86_64.tar.gz
  • filebeat-7.13.3-linux-x86_64.tar.gz

剖析

  • ElasticSearch 集群构建

    节点 阐明
    192.168.157.120 ES 集群 1
    192.168.157.121 ES 集群 2
  • Logstash + FileBeat 日志采集节点

    节点 阐明
    192.168.157.130 日志节点
    192.168.157.131 日志节点
    192.168.157.132 日志节点
  • Kibana 可视化治理

    节点 阐明
    192.168.157.122:5601 可视化地址

约定

  • 下载寄存目录:/mysoft
  • 装置程序:ElasticSearch -> Kibana -> Logstash + filebeat
  • ElasticSearch 约定

    模块 内容
    软件装置地位 /usr/local/elasticsearch
    集群端口 9200
    集群名称 ES
    数据文件寄存目录 /usr/local/elasticsearch/data
    日志文件寄存目录 /usr/local/elasticsearch/logs
    用户 (非 root) elastic
    明码 (非 root) elastic
  • Kibana 约定

    模块 内容
    软件装置地位 /usr/local/Kibana
    本机端口 5601
    本机地址 192.168.157.122
    ES 集群节点 [“http://192.168.157.120:9200″,”http://192.168.157.121:9200”]
    用户 (非 root) kibana
    明码 (非 root) kibana
  • Logstash +fileBeat 约定

    模块 内容
    Logstash 装置地位 /usr/local/elk/logstash
    FileBeat 装置地位 /usr/local/elk/fileBeat
    发送 ES 节点 [“http://192.168.157.120:9200″,”http://192.168.157.121:9200”]

ElasticSearch 装置

  • 通用操作
  1. 进入目录
    cm /mysoft
  2. 解压包
    tar zxvf elasticsearch-7.13.3-linux-x86_64.tar.gz
  3. 挪动并批改名称
    mv elasticsearch-7.13.3 /usr/local/elasticsearch
  4. jdk 问题解决
    vi /usr/local/elasticsearch/bin/elasticsearch-env
  5. 用户与受权

    # 创立用户
    useradd elastic
    # 设置明码
    passwd elastic
    # 赋予用户权限
    chown -R elastic:elastic /usr/local/elasticsearch/
  • 配置 ES 节点 -1

    # 设置集群名称(集群名称,节点之间要保持一致)cluster.name: my-application
    #设置节点名称(节点名称,集群内要惟一  例:node-1 ,node-2)node.name: node-1
    # elasticsearch 数据文件寄存目录
    path.data: /usr/local/elasticsearch/data
    # elasticsearch 日志文件寄存目录
    path.logs: /usr/local/elasticsearch/logs
    #对所有 IP 凋谢
    network.host: 0.0.0.0
    # HTTP 端口号
    http.port: 9200
    # ES 集群地址
    discovery.seed_hosts: ["192.168.157.120", "192.168.157.121"]
    # ES 集群节点
    cluster.initial_master_nodes: ["node-1", "node-2"]
    #跨域配置
    #action.destructive_requires_name: true
  • 配置 ES 节点 -2

    # 设置集群名称(集群名称,节点之间要保持一致)cluster.name: my-application
    #设置节点名称(节点名称,集群内要惟一  例:node-1 ,node-2)node.name: node-2
    # elasticsearch 数据文件寄存目录
    path.data: /usr/local/elasticsearch/data
    # elasticsearch 日志文件寄存目录
    path.logs: /usr/local/elasticsearch/logs
    #对所有 IP 凋谢
    network.host: 0.0.0.0
    # HTTP 端口号
    http.port: 9200
    # ES 集群地址
    discovery.seed_hosts: ["192.168.157.120", "192.168.157.121"]
    # ES 集群节点
    cluster.initial_master_nodes: ["node-1", "node-2"]
    #跨域配置
    #action.destructive_requires_name: true
  • 启动 ES 集群

    # 要应用 受权用户 elastic 启动
    su elastic -l -c "/usr/local/elasticsearch/bin/elasticsearch"        #调试启动
    su elastic -l -c "/usr/local/elasticsearch/bin/elasticsearch -d"    #后盾启动 
  • 查看状态
    netstat -nltp 查看端口号
  • 单节点测试

    # 别离拜访集群节点
    http://192.168.157.120:9200/
    http://192.168.157.121:9200/

    能够看到如下信息,示意单节点装置胜利

  • 集群节点测试

    # 拜访地址 查看集群节点状态
    http://192.168.157.120:9200/_cat/nodes?v
    http://192.168.157.120:9200/_cluster/health

    能够看到如下信息,示意集群配置装置胜利


先暂停一下 有事外出。。。。。

正文完
 0