使用Fluentd收集Docker容器日志

64次阅读

共计 1280 个字符,预计需要花费 4 分钟才能阅读完成。

本文介绍使用 Fluentd 收集 standalone 容器日志的方法。
Docker 提供了很多 logging driver,默认情况下使用的 json-file,它会把容器打到 stdout/stderr 的日志收集起来存到 json 文件中,docker logs 所看到的日志就是来自于这些 json 文件。
当有多个 docker host 的时候你会希望能够把日志汇集起来,集中存放到一处,本文讲的是如何通过 fluentd logging driver 配合 fluentd 来达成这一目标。
目标:

将 standalone 容器打到 stdout/stderror 的日志收集起来
收集的日志根据容器名分开存储
日志文件根据每天滚动

第一步:配置 Fluentd 实例
首先是配置文件 fluent.conf:
<source>
@type forward
</source>

<match *>

@type file

path /fluentd/log/${tag}/${tag}
append true
<format>
@type single_value
message_key log
</format>
<buffer tag,time>
@type file
timekey 1d
timekey_wait 10m
flush_mode interval
flush_interval 30s
</buffer>
</match>
新建一个目录比如 /home/ubuntu/container-logs,并赋予权限 chmod 777 /home/ubuntu/container-logs。
然后启动 Fluentd 实例,这里使用的 Docker 方式:
docker run -it \
-d \
-p 24224:24224 \
-v /path/to/conf/fluent.conf:/fluentd/etc/fluent.conf \
-v /home/ubuntu/container-logs:/fluentd/log
fluent/fluentd:v1.3
第二步:指定容器的 logging driver
在启动容器的时候执行使用 fluentd 作为 logging driver:
docker run -d \

–log-driver=fluentd \
–log-opt fluentd-address=<fluentdhost>:24224 \
–log-opt mode=non-blocking \
–log-opt tag={{.Name}} \
<image>
第三步:观察日志
到 /home/ubuntu/container-logs 目录下能够看到类似这样的目录结构:
.
└── <container-name>
└── <container-name>.20190123.log
参考文档

Configure logging drivers
Customize log driver output
Use Fluentd logging driver
Docker CLI – run

Fluentd

Fluentd – out_file
Fluentd – formatter_single_value
Fluentd – buf_file
Fluentd – buffer

正文完
 0