关于java:再见笨重的ELK这套轻量级日志收集方案要火

之前始终应用的日志收集计划是ELK，动辄占用几个G的内存，有些配置不好的服务器有点顶不住！最近发现一套轻量级日志收集计划： Loki+Promtail+Grafana（简称LPG），几百M内存就够了，而且界面也挺不错的，举荐给大家！

SpringBoot实战电商我的项目mall（50k+star）地址：https://github.com/macrozheng/mall

简介

LPG日志收集计划内存占用很少，经济且高效！它不像ELK日志零碎那样为日志建设索引，而是为每个日志流设置一组标签。上面别离介绍下它的外围组件：

Promtail：日志收集器，有点像Filebeat，能够收集日志文件中的日志，并把收集到的数据推送到Loki中去。
Loki：聚合并存储日志数据，能够作为Grafana的数据源，为Grafana提供可视化数据。
Grafana：从Loki中获取日志信息，进行可视化展现。

装置

实现这套日志收集计划须要装置Loki、Promtail、Grafana这些服务，间接应用docker-compose来装置十分不便。

应用的docker-compose.yml脚本如下，间接应用docker-compose命令运行即可；

version: "3"services:  # 日志存储和解析  loki:    image: grafana/loki    container_name: lpg-loki    volumes:      - /mydata/loki/:/etc/loki/    # 批改loki默认配置文件门路    command: -config.file=/etc/loki/loki.yml    ports:      - 3100:3100  # 日志收集器  promtail:    image: grafana/promtail    container_name: lpg-promtail    volumes:      # 将须要收集的日志所在目录挂载到promtail容器中      - /mydata/app/mall-tiny-loki/logs/:/var/log/      - /mydata/promtail:/etc/promtail/    # 批改promtail默认配置文件门路    command: -config.file=/etc/promtail/promtail.yml  # 日志可视化  grafana:    image: grafana/grafana    container_name: lpg-grafana    ports:      - 3000:3000

因为咱们把Loki和Promtail的配置文件挂载到了宿主机上，在运行之前，须要先筹备好这两个配置文件；
Loki的配置文件/mydata/loki/loki.yml内容如下，应用的是默认配置（能够先不挂载配置文件运行Loki的Docker容器，而后从容器中拷贝进去即可）；

auth_enabled: falseserver:  http_listen_port: 3100ingester:  lifecycler:    address: 127.0.0.1    ring:      kvstore:        store: inmemory      replication_factor: 1    final_sleep: 0s  chunk_idle_period: 1h       # Any chunk not receiving new logs in this time will be flushed  max_chunk_age: 1h           # All chunks will be flushed when they hit this age, default is 1h  chunk_target_size: 1048576  # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first  chunk_retain_period: 30s    # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m)  max_transfer_retries: 0     # Chunk transfers disabledschema_config:  configs:    - from: 2020-10-24      store: boltdb-shipper      object_store: filesystem      schema: v11      index:        prefix: index_        period: 24hstorage_config:  boltdb_shipper:    active_index_directory: /loki/boltdb-shipper-active    cache_location: /loki/boltdb-shipper-cache    cache_ttl: 24h         # Can be increased for faster performance over longer query periods, uses more disk space    shared_store: filesystem  filesystem:    directory: /loki/chunkscompactor:  working_directory: /loki/boltdb-shipper-compactor  shared_store: filesystemlimits_config:  reject_old_samples: true  reject_old_samples_max_age: 168hchunk_store_config:  max_look_back_period: 0stable_manager:  retention_deletes_enabled: false  retention_period: 0sruler:  storage:    type: local    local:      directory: /loki/rules  rule_path: /loki/rules-temp  alertmanager_url: http://localhost:9093  ring:    kvstore:      store: inmemory  enable_api: true

Promtail的配置文件/mydata/loki/promtail.yml内容如下，应用的也是默认配置，这里的clients.url须要留神下，因为咱们应用的是docker-compose部署，所以能够将服务名称loki作为域名来拜访Loki服务；

server:  http_listen_port: 9080  grpc_listen_port: 0positions:  filename: /tmp/positions.yamlclients:  - url: http://loki:3100/loki/api/v1/pushscrape_configs:- job_name: system  static_configs:  - targets:      - localhost    labels:      job: varlogs      __path__: /var/log/*log

运行docker-compose.yml脚本装置所有服务，应用如下命令即可；

docker-compose up -d

运行胜利后，能够应用docker ps |grep lpg命令查看服务状态。

[root@local-linux lpg]# docker ps |grep lpg64761b407423        grafana/loki                            "/usr/bin/loki -conf…"   3 minutes ago       Up 3 minutes        0.0.0.0:3100->3100/tcp                           lpg-loki67f0f0912971        grafana/grafana                         "/run.sh"                3 minutes ago       Up 3 minutes        0.0.0.0:3000->3000/tcp                           lpg-grafanaf2d78eb188d1        grafana/promtail                        "/usr/bin/promtail -…"   3 minutes ago       Up 3 minutes                                                         lpg-promtail

应用

接下来咱们将应用LPG日志收集零碎来收集SpringBoot利用的日志，SpringBoot利用根本不必做非凡配置。

首先创立一个SpringBoot利用，批改配置文件application.yml，将日志输入到/var/logs目录下；

spring:  application:    name: mall-tiny-lokilogging:  path: /var/logs  level:    com.macro.mall.tiny: debug

应用如下命令运行SpringBoot利用，并把日志目录挂载到宿主机上，这样Promtail就能够收集到日志了；

docker run -p 8088:8088 --name mall-tiny-loki \-v /etc/localtime:/etc/localtime \-v /mydata/app/mall-tiny-loki/logs:/var/logs \-e TZ="Asia/Shanghai" \-d mall-tiny/mall-tiny-loki:1.0-SNAPSHOT

运行胜利后登录Grafana，账号密码为admin:admin，登录胜利后须要增加Loki为数据源，拜访地址：http://192.168.7.149:3000/

在数据源抉择界面中间接抉择Loki，咱们能够看到Grafana也反对应用Elasticsearch作为数据源；

之后设置下你的Loki拜访地址，点击Save&test保留并测试，显示绿色提示信息示意设置胜利，Loki拜访地址：http://192.168.7.149:3100

接下来在Explore抉择Loki，并输出查问表达式（Loki query）为{filename="/var/log/spring.log"}，就能够查看咱们的SpringBoot利用输入的日志了。

总结

本文次要介绍了LPG日志零碎的搭建及应用它收集SpringBoot利用的日志，LPG日志收集计划的确十分轻量级，性能也不错！不过如果你有对日志进行全文搜寻的需要的话，还是得应用ELK零碎。如果你对Grafana还不相熟的话，能够参考下这篇文章《号称下一代可视化监控零碎，联合SpringBoot应用，贼爽！》。

参考资料

Loki官网文档：https://grafana.com/docs/loki...
Promtail官网文档：https://grafana.com/docs/loki...

我的项目源码地址

https://github.com/macrozheng...

本文 GitHub https://github.com/macrozheng/mall-learning 曾经收录，欢送大家Star！