关于java:再见笨重的ELK这套轻量级日志收集方案要火

59次阅读

共计 4366 个字符，预计需要花费 11 分钟才能阅读完成。

之前始终应用的日志收集计划是 ELK，动辄占用几个 G 的内存，有些配置不好的服务器有点顶不住！最近发现一套轻量级日志收集计划：Loki+Promtail+Grafana（简称 LPG），几百 M 内存就够了，而且界面也挺不错的，举荐给大家！

SpringBoot 实战电商我的项目 mall（50k+star）地址：https://github.com/macrozheng/mall

简介

LPG 日志收集计划内存占用很少，经济且高效！它不像 ELK 日志零碎那样为日志建设索引，而是为每个日志流设置一组标签。上面别离介绍下它的外围组件：

  • Promtail：日志收集器，有点像 Filebeat，能够收集日志文件中的日志，并把收集到的数据推送到 Loki 中去。
  • Loki：聚合并存储日志数据，能够作为 Grafana 的数据源，为 Grafana 提供可视化数据。
  • Grafana：从 Loki 中获取日志信息，进行可视化展现。

装置

实现这套日志收集计划须要装置 Loki、Promtail、Grafana 这些服务，间接应用 docker-compose 来装置十分不便。

  • 应用的 docker-compose.yml 脚本如下，间接应用 docker-compose 命令运行即可；
version: "3"

services:
  # 日志存储和解析
  loki:
    image: grafana/loki
    container_name: lpg-loki
    volumes:
      - /mydata/loki/:/etc/loki/
    # 批改 loki 默认配置文件门路
    command: -config.file=/etc/loki/loki.yml
    ports:
      - 3100:3100

  # 日志收集器
  promtail:
    image: grafana/promtail
    container_name: lpg-promtail
    volumes:
      # 将须要收集的日志所在目录挂载到 promtail 容器中
      - /mydata/app/mall-tiny-loki/logs/:/var/log/
      - /mydata/promtail:/etc/promtail/
    # 批改 promtail 默认配置文件门路
    command: -config.file=/etc/promtail/promtail.yml

  # 日志可视化
  grafana:
    image: grafana/grafana
    container_name: lpg-grafana
    ports:
      - 3000:3000
  • 因为咱们把 Loki 和 Promtail 的配置文件挂载到了宿主机上，在运行之前，须要先筹备好这两个配置文件；
  • Loki 的配置文件 /mydata/loki/loki.yml 内容如下，应用的是默认配置（能够先不挂载配置文件运行 Loki 的 Docker 容器，而后从容器中拷贝进去即可）；
auth_enabled: false

server:
  http_listen_port: 3100

ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 1h       # Any chunk not receiving new logs in this time will be flushed
  max_chunk_age: 1h           # All chunks will be flushed when they hit this age, default is 1h
  chunk_target_size: 1048576  # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first
  chunk_retain_period: 30s    # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m)
  max_transfer_retries: 0     # Chunk transfers disabled

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

storage_config:
  boltdb_shipper:
    active_index_directory: /loki/boltdb-shipper-active
    cache_location: /loki/boltdb-shipper-cache
    cache_ttl: 24h         # Can be increased for faster performance over longer query periods, uses more disk space
    shared_store: filesystem
  filesystem:
    directory: /loki/chunks

compactor:
  working_directory: /loki/boltdb-shipper-compactor
  shared_store: filesystem

limits_config:
  reject_old_samples: true
  reject_old_samples_max_age: 168h

chunk_store_config:
  max_look_back_period: 0s

table_manager:
  retention_deletes_enabled: false
  retention_period: 0s

ruler:
  storage:
    type: local
    local:
      directory: /loki/rules
  rule_path: /loki/rules-temp
  alertmanager_url: http://localhost:9093
  ring:
    kvstore:
      store: inmemory
  enable_api: true
  • Promtail 的配置文件 /mydata/loki/promtail.yml 内容如下，应用的也是默认配置，这里的 clients.url 须要留神下，因为咱们应用的是 docker-compose 部署，所以能够将服务名称 loki 作为域名来拜访 Loki 服务；
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*log
  • 运行 docker-compose.yml 脚本装置所有服务，应用如下命令即可；
docker-compose up -d
  • 运行胜利后，能够应用 docker ps |grep lpg 命令查看服务状态。
[root@local-linux lpg]# docker ps |grep lpg
64761b407423        grafana/loki                            "/usr/bin/loki -conf…"   3 minutes ago       Up 3 minutes        0.0.0.0:3100->3100/tcp                           lpg-loki
67f0f0912971        grafana/grafana                         "/run.sh"                3 minutes ago       Up 3 minutes        0.0.0.0:3000->3000/tcp                           lpg-grafana
f2d78eb188d1        grafana/promtail                        "/usr/bin/promtail -…"   3 minutes ago       Up 3 minutes                                                         lpg-promtail

应用

接下来咱们将应用 LPG 日志收集零碎来收集 SpringBoot 利用的日志，SpringBoot 利用根本不必做非凡配置。

  • 首先创立一个 SpringBoot 利用，批改配置文件 application.yml，将日志输入到/var/logs 目录下；
spring:
  application:
    name: mall-tiny-loki

logging:
  path: /var/logs
  level:
    com.macro.mall.tiny: debug
  • 应用如下命令运行 SpringBoot 利用，并把日志目录挂载到宿主机上，这样 Promtail 就能够收集到日志了；
docker run -p 8088:8088 --name mall-tiny-loki \
-v /etc/localtime:/etc/localtime \
-v /mydata/app/mall-tiny-loki/logs:/var/logs \
-e TZ="Asia/Shanghai" \
-d mall-tiny/mall-tiny-loki:1.0-SNAPSHOT
  • 运行胜利后登录 Grafana，账号密码为admin:admin，登录胜利后须要增加 Loki 为数据源，拜访地址：http://192.168.7.149:3000/

  • 在数据源抉择界面中间接抉择 Loki，咱们能够看到 Grafana 也反对应用 Elasticsearch 作为数据源；

  • 之后设置下你的 Loki 拜访地址，点击 Save&test 保留并测试，显示绿色提示信息示意设置胜利，Loki 拜访地址：http://192.168.7.149:3100

  • 接下来在 Explore 抉择 Loki，并输出查问表达式（Loki query）为{filename="/var/log/spring.log"}，就能够查看咱们的 SpringBoot 利用输入的日志了。

总结

本文次要介绍了 LPG 日志零碎的搭建及应用它收集 SpringBoot 利用的日志，LPG 日志收集计划的确十分轻量级，性能也不错！不过如果你有对日志进行全文搜寻的需要的话，还是得应用 ELK 零碎。如果你对 Grafana 还不相熟的话，能够参考下这篇文章《号称下一代可视化监控零碎，联合 SpringBoot 应用，贼爽！》。

参考资料

  • Loki 官网文档：https://grafana.com/docs/loki…
  • Promtail 官网文档：https://grafana.com/docs/loki…

我的项目源码地址

https://github.com/macrozheng…

本文 GitHub https://github.com/macrozheng/mall-learning 曾经收录，欢送大家 Star！

正文完
java
发表至： java
2021-07-20
 0
关于java:java高级用法之绑定CPU的线程ThreadAffinity
独家揭秘！阿里大规模数据中心的性能分析
java并发编程学习之线程的生命周期一
关于java:Maven中央仓库增加依赖漏洞提醒功能