首先安装 docker,需要 centos7 的机子,centos6 的百度自己折腾
# 安装 docker
yum install -y docker-io
systemctl start docker
进入正题,这里搭建的是 ELK7.2 版本
- 搭建 elasticsearch
- 修改内核参数
vim /etc/sysctl.conf
vm.max_map_count = 655360
vm.swappiness = 1
- 进入 data 创建目录 elk
cd /data && mkdir elk - 进入 elk,创建目录 data logs
cd elk
mkdir data
mkdir logs - 回到 data 授予 elk1000:1000 权限(es 默认权限是 1000)
cd /data
chown 1000:1000 elk -R - 这里搭建的是 2 个节点的 es,在 2 台机子分别建目录,然后分别执行以下命令
docker run --name ES \
-d --net=host \
--restart=always \
--privileged=true \
--ulimit nofile=655350 \
--ulimit memlock=-1 \
--memory=16G \
--memory-swap=-1 \
--volume /data:/data \
--volume /etc/localtime:/etc/localtime \
-e TERM=dumb \
-e ELASTIC_PASSWORD='changeme' \
-e ES_JAVA_OPTS="-Xms8g -Xmx8g" \
-e cluster.name="es" \
-e node.name="node-1" \
-e node.master=true \
-e node.data=true \
-e node.ingest=false \
-e node.attr.rack="0402-K03" \
-e discovery.zen.ping.unicast.hosts="ip1,ip2" \
-e xpack.security.enabled=true \
-e xpack.monitoring.collection.enabled=true \
-e xpack.monitoring.exporters.my_local.type=local \
-e xpack.monitoring.exporters.my_local.use_ingest=false \
-e discovery.zen.minimum_master_nodes=1 \
-e gateway.recover_after_nodes=1 \
-e cluster.initial_master_nodes="node-1" \
-e network.host=0.0.0.0 \
-e http.port=9200 \
-e path.data=/data/elk/data \
-e path.logs=/data/elk/logs \
-e bootstrap.memory_lock=true \
-e bootstrap.system_call_filter=false \
-e indices.fielddata.cache.size="25%" \
elasticsearch:7.2.0
其中需要注意的几个参数,
ELASTIC_PASSWORD 这个是设置你 elastic 这个用户对应的密码
memory 是你服务器的内存
ES_JAVA_OPTS 这个数值一般是内存的一半
discovery.zen.ping.unicast.hosts 这个参数是你集群的 ip
在第二个节点修改以下参数
node.name, node.master=false, 去除 cluster.initial_master_nodes 参数
- 完成以后就可以执行以下命令看一下日志了
docker logs ES -f
- 检测一下结果
curl --user elastic:changeme -XGET http://ip1:9200/_cat/indices
看到这张图就代表你搭建成功了,number_of_nodes 代表的节点数 最后一个参数代表加载了多少
2. 搭建 kibana
- 搭建 kibana 比较简单,先拉一下镜像
docker pull kibana
- 执行命令开启服务
docker run --name kibana \
--restart=always \
-d --net=host \
-v /data:/data \
-v /etc/localtime:/etc/localtime \
--privileged \
-e TERM=dumb \
-e SERVER_HOST=0.0.0.0 \
-e SERVER_PORT=5601 \
-e SERVER_NAME=Kibana-100 \
-e ELASTICSEARCH_HOSTS=http://localhost:9200 \
-e ELASTICSEARCH_USERNAME=elastic \
-e ELASTICSEARCH_PASSWORD=changeme \
-e XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true \
-e LOG_FILE=/data/elasticsearch/logs/kibana.log \
kibana:7.2.0
- kibana 搭建比较简单,接下来就做个 nginx 设置一下就好了,给个简单的配置
server {
listen 80;
#listen [::]:80 default_server;
#server_name ;
#root /usr/share/nginx/html;
# Load configuration files for the default server block.
include /etc/nginx/default.d/*.conf;
location / {
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_set_header X-Nginx-Proxy true;
proxy_set_header Connection "";
proxy_pass http://127.0.0.1:5601;
}
error_page 404 /404.html;
location = /40x.html { }
error_page 500 502 503 504 /50x.html;
location = /50x.html {}}
- logstash 安装
- 创建目录授权
cd /data
mkdir config
cd config
mkdir pipeline
cd /data
chown 1000:1000 config
- 在 config 中创建以下文件
vim log4j2.properties
logger.elasticsearchoutput.name = logstash.outputs.elasticsearch
logger.elasticsearchoutput.level = debug
vim logstash.yml
内容直接放空,wq 出来就好
vim pipelines.yml
- pipeline.id: my-logstash
path.config: "/usr/share/logstash/config/pipeline/*.conf"
pipeline.workers: 3
紧接着进入 pipeline 目录,创建要
cd pipeline
vim redis2es.conf
input {
redis {
data_type => "list"
codec => "json"
key => "xxx"
host => "xxxxxxx"
port => 6379
password => "xxxxxx"
threads => 1
batch_count => 100
}
}
output {
elasticsearch {hosts => ["ip1:9200"]
index => "%{srv}-%{type}-%{+yyyy.MM.dd}"
document_type => "%{type}"
workers => 1
user => "elastic"
password => "changme"
}
file {path => "/usr/share/logstash/%{srv}-%{type}-%{+yyyyMMdd}.log"
gzip => true
flush_interval => 10
workers => 1
}
}
以上 xxx 请自行脑补
额外扩展,推荐一个工具——dremio
简单的命令解决
docker pull dremio/dremio-oss
docker run -p 9047:9047 -p 31010:31010 -p 45678:45678 dremio/dremio-oss