公司新来个同事Docker-日志管理玩的贼-6

起源：自在早晚乱余生
www.cnblogs.com/operationhome/p/10907591.html

Docker-CE
Server Version: 18.09.6
Storage Driver: overlay2
Kernel Version: 3.10.0-862.el7.x86_64
Operating System: CentOS Linux 7 (Core)

Docker 日志分为两类：

Docker 引擎日志(也就是 dockerd 运行时的日志)，
容器的日志，容器内的服务产生的日志。

Docker 引擎日志个别是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者个别位于 /var/log/upstart/docker.log 下，后者咱们个别通过 journalctl -u docker 来进行查看。

docker logs CONTAINER 显示以后运行的容器的日志信息，UNIX 和 Linux 的命令有三种输入输出，别离是 STDIN(规范输出)、STDOUT(规范输入)、STDERR(规范谬误输入)，docker logs 显示的内容蕴含 STOUT 和 STDERR。在生产环境，如果咱们的利用输入到咱们的日志文件里，所以咱们在应用 docker logs 个别收集不到太多重要的日志信息。

nginx 官网镜像，应用了一种形式，让日志输入到 STDOUT，也就是创立一个符号链接/var/log/nginx/access.log 到 /dev/stdout。

httpd 应用的是让其输入到指定文件，失常日志输入到 /proc/self/fd/1 (STDOUT)，谬误日志输入到 /proc/self/fd/2 (STDERR)。

当日志量比拟大的时候，咱们应用 docker logs 来查看日志，会对 docker daemon 造成比拟大的压力，容器导致容器创立慢等一系列问题。

只有应用了 `local、json-file、journald` 的日志驱动的容器才能够应用 docker logs 捕捉日志，应用其余日志驱动无奈应用 `docker logs`

Docker 提供了两种模式用于将音讯从容器到日志驱动。

(默认)回绝，阻塞从容器到容器驱动
非阻塞传递, 日志将贮存在容器的缓冲区。

当缓冲区满，旧的日志将被抛弃。

在 mode 日志选项管制应用 blocking(默认) 或者 non-blocking, 当设置为 non-blocking须要设置 max-buffer-size 参数(默认为 1MB)。

反对的驱动

应用 Docker-CE 版本，docker logs命令仅仅实用于以下驱动程序(后面 docker logs 详解也提及到了)

local
json-file
journald

1558055133186

Docker 日志驱动常用命令

查看零碎以后设置的日志驱动

docker info |grep “Logging Driver” / docker info –format ‘{{.LoggingDriver}}’

查看单个容器的设置的日志驱动

docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   容器 id

Docker 日志驱动全局配置更改

批改日志驱动，在配置文件 /etc/docker/daemon.json（留神该文件内容是 JSON 格局的）进行配置即可。

示例：

{"log-driver": "syslog"}

以上更改是针对所有的容器的日志驱动的。咱们也能够独自为繁多容器设置日志驱动。

Docker 繁多容器日志驱动配置

在运行容器的时候指定日志驱动 --log-driver。

docker  run  -itd --log-driver none alpine ash 
# 这里指定的日志驱动为 none

日志驱动一、local

local 日志驱动记录从容器的 STOUT/STDERR 的输入，并写到宿主机的磁盘。

默认状况下，local 日志驱动为每个容器保留 100MB 的日志信息，并启用主动压缩来保留。(通过测试，保留 100MB 的日志是指没有通过压缩的日志)

local 日志驱动的贮存地位 /var/lib/docker/containers/ 容器 id/local-logs/ 以container.log 命名。

local 驱动反对的选项

全局日志驱动设置为—local

在配置文件 /etc/docker/daemon.json（留神该文件内容是 JSON 格局的）进行配置即可。

{ 
"log-driver": "local",  
"log-opts": 
{"max-size": "10m"}
}

重启 docker 即可失效。

单个容器日志驱动设置为—local

运行容器并设定为 local 驱动。

#  运行一个容器，并设定日志驱动为 local，并运行命令 ping www.baidu.com
[root@localhost docker]# docker run  -itd  --log-driver  local  alpine  ping www.baidu.com 

3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156

#  查看运行的容器的 日志驱动是否是 local
[root@localhost docker]# docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   3795b6483534961c
local

# 查看日志
[root@localhost local-logs]# tail -f  /var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.log 
NNdout????:64 bytes from 14.215.177.38: seq=816 ttl=55 time=5.320 ms
NNdout?μ???:64 bytes from 14.215.177.38: seq=817 ttl=55 time=4.950 ms

注意事项：通过测试，当咱们产生了 100 MB 大小的日志时会有四个压缩文件和一个container.log：
[root@localhost local-logs]# ls -l
total 32544
-rw-r-----. 1 root root 18339944 May 16 09:41 container.log
-rw-r-----. 1 root root  3698660 May 16 09:41 container.log.1.gz
-rw-r-----. 1 root root  3726315 May 16 09:41 container.log.2.gz
-rw-r-----. 1 root root  3805668 May 16 09:41 container.log.3.gz
-rw-r-----. 1 root root  3744104 May 16 09:41 container.log.4.gz
那么当超过了 100MB 的日志文件，日志文件会持续写入到 container.log，然而会将 container.log 日志中老的日志删除，追加新的，也就是当写满 100MB 日志后，再产生一条新日志，会删除 container.log 中的一条老日志，保留 100MB 的大小。这个对咱们是会有一些影响的，
当我运行零碎时 第一天因为 bug 产生了 100MB 日志，那么之前的日志就曾经有 80MB 日志变成的压缩包，所以我在后续的运行中，只能获取最近的 20MB 日志。

日志驱动二、默认的日志驱动—JSON

所有容器默认的日志驱动 json-file。

json-file 日志驱动记录从容器的 STOUT/STDERR 的输入，用 JSON 的格局写到文件中，日志中不仅蕴含着输入日志，还有工夫戳和输入格局。上面是一个 ping www.baidu.com 对应的 JSON 日志

{"log":"64 bytes from 14.215.177.39: seq=34 ttl=55 time=7.067 ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}

json-file 日志的门路位于 /var/lib/docker/containers/container_id/container_id-json.log。

json-file 的日志驱动反对以下选项：

json-file 的日志驱动示例

# 设置 日志驱动为 json-file，咱们也能够不设置，因为默认就是 json-file
docker run  -itd  --name  test-log-json  --log-driver json-file   alpine  ping www.baidu.com
199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e

# 查看日志, 日志名称就是 容器名称 -json.log
tail -f /var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log
{"log":"64 bytes from 14.215.177.39: seq=13 ttl=55 time=15.023 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}
{"log":"64 bytes from 14.215.177.39: seq=14 ttl=55 time=9.640 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}
{"log":"64 bytes from 14.215.177.39: seq=15 ttl=55 time=8.938 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}
{"log":"64 bytes from 14.215.177.39: seq=16 ttl=55 time=18.086 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}
{"log":"64 bytes from 14.215.177.39: seq=17 ttl=55 time=12.615 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}
{"log":"64 bytes from 14.215.177.39: seq=18 ttl=55 time=11.001 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}

日志驱动三、syslog

syslog 日志驱动将日志路由到 syslog 服务器，syslog 以原始的字符串作为日志音讯元数据，接管方能够提取以下的音讯：

level 日志等级，如debug，warning，error，info。
timestamp 工夫戳
hostname 事件产生的主机
facillty 零碎模块
过程名称和过程 ID

syslog 日志驱动全局配置

编辑 /etc/docker/daemon.json 文件

{  
  "log-driver": "syslog", 
  "log-opts":
  {"syslog-address": "udp://1.2.3.4:1111"}
}

重启 docker 即可失效。

单个容器日志驱动设置为—syslog

Linux 零碎中咱们用的系统日志模块时 rsyslog，它是基于syslog 的规范实现。咱们要应用 syslog 驱动须要应用零碎自带的 rsyslog 服务。

# 查看以后 rsyslog 版本和根本信息
[root@localhost harbor]# rsyslogd  -v
rsyslogd 8.24.0, compiled with:   
PLATFORM:               x86_64-redhat-linux-gnu   
PLATFORM (lsb_release -d):         
FEATURE_REGEXP:             Yes    
GSSAPI Kerberos 5 support:      Yes    
FEATURE_DEBUG (debug build, slow code): No    
32bit Atomic operations supported:  Yes   
64bit Atomic operations supported:  Yes    
memory allocator:           system default    
Runtime Instrumentation (slow code):    No   
uuid support:               Yes    
Number of Bits in RainerScript integers: 64


See http://www.rsyslog.com for more information.

配置 syslog , 在配置文件 /etc/rsyslog.conf 大概 14-20 行，咱们能够看到两个配置，一个 udp，一个 tcp，都是监听 514 端口，提供 syslog 的接管。抉择 tcp 就将 tcp 的两个配置的后面 # 号正文即可。

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp  
#$InputTCPServerRun 514

而后重启 rsyslog，咱们能够看到 514 端口在监听。

systemctl restart  rsyslog
[root@localhost harbor]# netstat -ntul |grep 514
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN     
tcp6       0      0 :::514                  :::*                    LISTEN

启动一个以 syslog 为驱动的容器。

docker  run -d -it  -p 87:80 --log-driver syslog --log-opt syslog-address=tcp://127.0.0.1:514  --name nginx-syslog   nginx

拜访并查看日志

# 拜访 nginx
curl 127.0.0.1:87
# 查看拜访日志
tail -f  /var/log/messages
May 17 15:56:48 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:56:48 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015
May 17 15:58:16 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:58:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015

日志驱动四、Journald

journald 日志驱动程序将容器的日志发送到 systemd journal, 能够应用 journal API 或者应用 docker logs 来查日志。

除了日志自身以外，journald 日志驱动还会在日志加上上面的数据与音讯一起贮存。

Field

选项

journald 日志驱动全局配置

编辑 /etc/docker/daemon.json 文件

{"log-driver": "journald"}

单个容器日志驱动设置为—journald

docker  run  -d -it 
--log-driver=journald \    
--log-opt labels=location \    
--log-opt env=TEST \    
--env "TEST=false" \    
--label location=china \    
--name  nginx-journald\    
-p 80:80\    
nginx

查看日志 journalctl

# 只查问指定容器的相干音讯 
journalctl CONTAINER_NAME=webserver
# -b 指定从上次启动以来的所有音讯 
journalctl -b CONTAINER_NAME=webserver
# -o 指定日志音讯格局，-o json 示意以 json 格局返回日志音讯 
journalctl -o json CONTAINER_NAME=webserver
# -f 始终捕捉日志输入 
journalctl -f CONTAINER_NAME=webserver

如果咱们的容器在启动的时候加了 -t 参数，启用了 TTY 的话，那么我查看日志是会像上面一样
May 17 17:19:26 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]May 17 17:19:32 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]
显示[104B blob data] 而不是残缺日志起因是因为有 \r 的存在，如果咱们要残缺显示，须要加上参数 --all。

咱们在下面看到了 Docker 官网提供了很多日志驱动，然而下面的这些驱动都是针对的规范输入的日志驱动。

容器日志分类

容器的日志理论是有两大类的：

规范输入的 ，也就是 STDOUT、STDERR , 这类日志咱们能够通过 Docker 官网的日志驱动进行收集。

示例：Nginx 日志，Nginx 日志有 access.log 和 error.log，咱们在 Docker Hub 上能够看到 Nginx 的 dockerfile 对于这两个日志的解决是：
```
RUN ln -sf /dev/stdout /var/log/nginx/access.log \  && ln -sf /dev/stderr /var/log/nginx/error.log
```
都软连贯到 /dev/stdout 和 /dev/stderr，也就是规范输入，所以这类容器是能够应用 Docker 官网的日志驱动。
文本日志，存在在于容器外部，并没有重定向到容器的规范输入的日志。

示例：Tomcat 日志，Tomcat 有 catalina、localhost、manager、admin、host-manager，咱们能够在 Docker Hub 看到 Tomcat 的 dockerfile 只有对于 catalina 进行解决，其它日志将贮存在容器里。
```
CMD ["catalina.sh", "run"]
```
咱们运行了一个 Tomcat 容器，而后进行拜访后，并登陆到容器外部，咱们能够看到产生了文本日志：
```
root@25ba00fdab97:/usr/local/tomcat/logs# ls -l
total 16
-rw-r-----. 1 root root 6822 May 17 14:36 catalina.2019-05-17.log
-rw-r-----. 1 root root    0 May 17 14:36 host-manager.2019-05-17.log
-rw-r-----. 1 root root  459 May 17 14:36 localhost.2019-05-17.log
-rw-r-----. 1 root root 1017 May 17 14:37 localhost_access_log.2019-05-17.txt
-rw-r-----. 1 root root    0 May 17 14:36 manager.2019-05-17.log
```
这类容器咱们上面有专门的计划来应答。

咱们能够抉择 json-file、syslog、local 等 Docker 反对的日志驱动。

计划一挂载目录 bind

创立一个目录，将目录挂载到容器中产生日志的目录。

--mount  type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/

示例：

# 创立挂载目录 /opt/logs
[root@fy-local-2 /]# mkdir  /opt/logs
# 创立容器 tomcat-bind 并将 /opt/logs 挂载至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-bind  -P  --mount  type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/   tomcat
[root@fy-local-2 /]# ls -l /opt/logs/
total 12
-rw-r----- 1 root root 6820 May 22 17:31 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:31 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:31 manager.2019-05-22.log

计划二应用数据卷 volume

创立数据卷，创立容器时绑定数据卷，

--mount  type=volume  src=volume_name  dst=/usr/local/tomcat/logs/

示例：

# 创立 tomcat 利用数据卷名称为 tomcat
[root@fy-local-2 /]# docker volume  create  tomcat
# 创立容器 tomcat-volume 并指定数据卷为 tomcat，绑定至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-volume   -P  --mount  type=volume,src=tomcat,dst=/usr/local/tomcat/logs/   tomcat
# 查看数据卷外面的内容
[root@fy-local-2 /]# ls -l /var/lib/docker/volumes/tomcat/_data/
total 12
-rw-r----- 1 root root 6820 May 22 17:33 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:33 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:33 manager.2019-05-22.log

计划三计算容器 rootfs 挂载点

此计划的文字内容摘抄于 https://yq.aliyun.com/article…

应用挂载宿主机目录的形式采集日志对利用会有肯定的侵入性，因为它要求容器启动的时候蕴含挂载命令。如果采集过程能对用户通明那就太棒了。事实上，能够通过计算容器 rootfs 挂载点来达到这种目标。

和容器 rootfs 挂载点密不可分的一个概念是 storage driver。理论应用过程中，用户往往会依据 linux 版本、文件系统类型、容器读写状况等因素抉择适合的 storage driver。不同 storage driver 下，容器的 rootfs 挂载点遵循肯定法则，因而咱们能够依据 storage driver 的类型推断出容器的 rootfs 挂载点，进而采集容器外部日志。下表展现了局部 storage dirver 的 rootfs 挂载点及其计算方法。

示例：

# 创立容器 tomcat-test
[root@fy-local-2 /]# docker  run -d  --name  tomcat-test  -P  tomcat
36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
# 查看 tomcat-test 容器的 挂载点地位
[root@fy-local-2 /]# docker inspect -f '{{.GraphDriver.Data.MergedDir}}' 36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
# 查看挂载点的目录构造[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
total 4
drwxr-xr-x 1 root root  179 May  8 13:05 bin
drwxr-xr-x 2 root root    6 Mar 28 17:12 boot
drwxr-xr-x 1 root root   43 May 22 17:27 dev
lrwxrwxrwx 1 root root   33 May  8 13:08 docker-java-home -> /usr/lib/jvm/java-8-openjdk-amd64
drwxr-xr-x 1 root root   66 May 22 17:27 etc
drwxr-xr-x 2 root root    6 Mar 28 17:12 home
drwxr-xr-x 1 root root    6 May 16 08:50 lib
drwxr-xr-x 2 root root   34 May  6 08:00 lib64
drwxr-xr-x 2 root root    6 May  6 08:00 media
drwxr-xr-x 2 root root    6 May  6 08:00 mnt
drwxr-xr-x 2 root root    6 May  6 08:00 opt
drwxr-xr-x 2 root root    6 Mar 28 17:12 proc
drwx------ 1 root root   27 May 22 17:29 root
drwxr-xr-x 3 root root   30 May  6 08:00 run
drwxr-xr-x 2 root root 4096 May  6 08:00 sbin
drwxr-xr-x 2 root root    6 May  6 08:00 srv
drwxr-xr-x 2 root root    6 Mar 28 17:12 sys
drwxrwxrwt 1 root root   29 May 16 08:50 tmp
drwxr-xr-x 1 root root   19 May  6 08:00 usr
drwxr-xr-x 1 root root   41 May  6 08:00 var
# 查看日志
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/
total 20
-rw-r----- 1 root root 14514 May 22 17:40 catalina.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 host-manager.2019-05-22.log
-rw-r----- 1 root root  1194 May 22 17:40 localhost.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root     0 May 22 17:27 manager.2019-05-22.log

计划四在代码层中实现间接将日志写入 redis

docker ——》redis ——》Logstash——》Elasticsearch，通过代码层面，间接将日志写入redis, 最初写入 Elasticsearch。

以上就是对 Docker 日志的所有的概念解释和方提供，具体采纳什么计划，依据公司的具体的业务来抉择。适合的才是最好的。

公司新来个同事Docker-日志管理玩的贼-6

一、Docker 引擎日志

二、容器日志

2.1、罕用查看日志命令——docker logs

2.2、Docker 日志驱动

Docker 日志驱动常用命令

Docker 日志驱动全局配置更改

Docker 繁多容器日志驱动配置

日志驱动一、local

日志驱动二、默认的日志驱动—JSON

日志驱动三、syslog

日志驱动四、Journald

三、生产环境中该如何贮存容器中的日志

容器日志分类

一、当是齐全是规范输入的类型的容器

二、当有文件文本日志的类型容器

计划一挂载目录 bind

计划二应用数据卷 volume

计划三计算容器 rootfs 挂载点

计划四在代码层中实现间接将日志写入 redis

Just My Socks（注册教程内含优惠码）

公司新来个同事Docker-日志管理玩的贼-6

一、Docker 引擎日志

二、容器日志

2.1、罕用查看日志命令——docker logs

2.2、Docker 日志 驱动

Docker 日志驱动常用命令

Docker 日志驱动全局配置更改

Docker 繁多容器日志驱动配置

日志驱动 一、local

日志驱动 二、默认的日志驱动—JSON

日志驱动 三、syslog

日志驱动 四、Journald

三、生产环境中该如何贮存容器中的日志

容器日志分类

一、当是齐全是规范输入的类型的容器

二、当有文件文本日志的类型容器

计划一 挂载目录 bind

计划二 应用数据卷 volume

计划三 计算容器 rootfs 挂载点

计划四 在代码层中实现间接将日志写入 redis

Just My Socks（注册教程 内含优惠码）

2.2、Docker 日志驱动

日志驱动一、local

日志驱动二、默认的日志驱动—JSON

日志驱动三、syslog

日志驱动四、Journald

计划一挂载目录 bind

计划二应用数据卷 volume

计划三计算容器 rootfs 挂载点

计划四在代码层中实现间接将日志写入 redis

Just My Socks（注册教程内含优惠码）