关于mysql:Elasticsearch安装与简单配置

Elasticsearch装置与简略配置

1. Elasticsearch基于java开发，所以须要装置JDK并设置$JAVA_HOME (Elasticsearch7开始内置了java)
2. 各版本对java的依赖
    1. Elasticsearch5 须要从Java 8以上的版本
    2. Elasticsearch 从6.5开始反对Java 11
    3. Elasticsearch 7开始内置了java环境

装置(以mac为例，不同零碎能够参考官网的示例)

1. 下载源码包装置

1. 到官网下载源码包 官网地址 https://www.elastic.co/cn/downloads/elasticsearch
2. 双击装置

2. 应用brew装置

1. brew tap elastic/tap
2. brew install elastic/tap/elasticsearch-full

装置当前，Elasticsearch相干文件的装置目录如下图所示

相干目录解释：

额定留神：
    1. 7.1下载的默认配置是1GB
生成环境配置倡议：
    1. Xmx和Xms设置成一样
    2. Xmx不要超过机器内存的50%
    3. 不要超过30GB

在命令行输出 elasticsearch,启动集群：

在浏览器输出http://localhost:9200能够看到…：

elasticsearch 装置插件

1. 这里以装置analysis-icu为例，这是一个国际化分词插件

elasticsearch-plugin list  查看本机已装置插件
elasticsearch-plugin install analysis-icu  装置插件

咱们能够应用插件的模式对elasticsearch进行扩大

如何在开发机上运行多个elasticsearch实例

elasticsearch -E node.name=node1 -E cluster.name=adp -E path.data=node1_data -d
elasticsearch -E node.name=node2 -E cluster.name=adp -E path.data=node2_data -d
elasticsearch -E node.name=node3 -E cluster.name=adp -E path.data=node3_data -d

咱们在启动elasticsearch服务的时候，指定节点名，集群名称以及每个节点存储数据的文件即可
能够通过浏览器拜访 http://localhost:9200/_cat/nodes来查看集群节点

Kibana的装置与界面疾速浏览

装置与配置

1. kibaba的装置与elasticsearch相似，也能够通过下载源码包或者brew装置

brew install elastic/tap/kibana-full

注：须要先增加elastic homebrew 的仓库
brew tap elastic/tap

装置实现当前，各目录如下图所示

配置

1. 关上conf上面的kibana.yml文件，批改elasticsearch.hosts为指向你的elasticsearch实例
2. 能够将最初一行的配置改为 i18n.locale: "zh-CN"(默认正文)，即可汉化kibana

运行kibana

1. 在命令行输出 kibana (先启动elasticsearch集群)
2. 在浏览器输出http://localhost:5601，看到以下界面即为装置配置胜利

Logstash装置与导入数据

装置

1. logstash的装置与下面那俩没啥区别，官网下载源码包，或者brew

brew install elastic/tap/logstash-full

装置当前，各文件目录参考kibana(地位和kibana一样，只是根目录换成了logstash)

导入数据

1. 开源数据集下载 https://files.grouplens.org/datasets/movielens/ml-latest-small.zip
2. 解压数据集，记住 movies.csv文件的门路
3. 重命名conf目录下logstash-sample.conf  mv logstash-sample.conf logstash.conf
4. 批改logstash.conf为上面的代码
5. 以指定配置文件的形式运行logstash    
    logstash -f logstash.conf
    须要java环境，启动会慢些，并且会在控制台看到打印出的索引数据(json)
6. 在kibana的索引治理界面能够看到索引信息

# logstash.conf

input {
  file {
    path => "YOUR_FULL_PATH_OF_movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

更多内容欢送关注我的集体公众号“韩哥有话说”，100G人工智能学习材料，大量后端学习材料等你来拿。

更多内容欢送关注我的集体公众号“韩哥有话说”，100G人工智能学习材料，大量后端学习材料等你来拿。