乐趣区

公司新来个同事Docker-日志管理玩的贼-6

起源:自在早晚乱余生
www.cnblogs.com/operationhome/p/10907591.html

Docker-CE
Server Version: 18.09.6
Storage Driver: overlay2
Kernel Version: 3.10.0-862.el7.x86_64
Operating System: CentOS Linux 7 (Core)

Docker  日志分为两类:

  • Docker 引擎日志(也就是 dockerd 运行时的日志),
  • 容器的日志,容器内的服务产生的日志。

一、Docker 引擎日志

Docker 引擎日志个别是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者个别位于 /var/log/upstart/docker.log 下,后者咱们个别 通过 journalctl -u docker 来进行查看。

二、容器日志

2.1、罕用查看日志命令——docker logs

docker logs CONTAINER 显示以后运行的容器的日志信息,UNIX 和 Linux 的命令有三种 输入输出,别离是 STDIN(规范输出)、STDOUT(规范输入)、STDERR(规范谬误输入),docker logs  显示的内容蕴含 STOUT 和 STDERR。在生产环境,如果咱们的利用输入到咱们的日志文件里,所以咱们在应用  docker  logs 个别收集不到太多重要的日志信息。

  • nginx 官网镜像,应用了一种形式,让日志输入到 STDOUT,也就是 创立一个符号链接/var/log/nginx/access.log/dev/stdout
  • httpd 应用的是 让其输入到指定文件,失常日志输入到 /proc/self/fd/1 (STDOUT),谬误日志输入到 /proc/self/fd/2 (STDERR)。
  • 当日志量比拟大的时候,咱们应用 docker logs   来查看日志,会对 docker daemon 造成比拟大的压力,容器导致容器创立慢等一系列问题。
  • 只有应用了 `local、json-file、journald`  的日志驱动的容器才能够应用 docker logs 捕捉日志,应用其余日志驱动无奈应用 `docker logs`

2.2、Docker 日志 驱动

Docker 提供了两种模式用于将音讯从容器到日志驱动。

  • (默认)回绝,阻塞从容器到容器驱动
  • 非阻塞传递, 日志将贮存在容器的缓冲区。

当缓冲区满,旧的日志将被抛弃。

在 mode 日志选项管制应用 blocking(默认) 或者 non-blocking, 当设置为 non-blocking须要设置 max-buffer-size 参数(默认为 1MB)。

反对的驱动

应用 Docker-CE 版本,docker logs命令 仅仅实用于以下驱动程序(后面 docker logs 详解也提及到了)

  • local
  • json-file
  • journald

1558055133186

Docker 日志驱动常用命令

查看零碎以后设置的日志驱动

docker  info |grep  “Logging Driver”  / docker info –format ‘{{.LoggingDriver}}’

查看单个容器的设置的日志驱动

docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   容器 id
Docker 日志驱动全局配置更改

批改日志驱动,在配置文件 /etc/docker/daemon.json(留神该文件内容是 JSON 格局的)进行配置即可。

示例:

{"log-driver": "syslog"}

以上更改是针对所有的容器的日志驱动的。咱们也能够独自为繁多容器设置日志驱动。

Docker 繁多容器日志驱动配置

在 运行容器的时候指定 日志驱动 --log-driver

docker  run  -itd --log-driver none alpine ash 
# 这里指定的日志驱动为 none 
日志驱动 一、local

local 日志驱动 记录从容器的 STOUT/STDERR 的输入,并写到宿主机的磁盘。

默认状况下,local  日志驱动为每个容器保留 100MB 的日志信息,并启用主动压缩来保留。(通过测试,保留 100MB 的日志是指没有通过压缩的日志)

local 日志驱动的贮存地位 /var/lib/docker/containers/ 容器 id/local-logs/container.log 命名。

local 驱动反对的选项

全局日志驱动设置为—local

在配置文件 /etc/docker/daemon.json(留神该文件内容是 JSON 格局的)进行配置即可。

{ 
"log-driver": "local",  
"log-opts": 
{"max-size": "10m"}
}

重启 docker  即可失效。

单个容器日志驱动设置为—local

运行容器并设定为 local 驱动。

#  运行一个容器,并设定日志驱动为 local,并运行命令 ping www.baidu.com
[root@localhost docker]# docker run  -itd  --log-driver  local  alpine  ping www.baidu.com 

3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156

#  查看运行的容器的 日志驱动是否是 local
[root@localhost docker]# docker inspect  -f '{{.HostConfig.LogConfig.Type}}'   3795b6483534961c
local

# 查看日志
[root@localhost local-logs]# tail -f  /var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.log 
NNdout????:64 bytes from 14.215.177.38: seq=816 ttl=55 time=5.320 ms
NNdout?μ???:64 bytes from 14.215.177.38: seq=817 ttl=55 time=4.950 ms

注意事项:通过测试,当咱们产生了 100 MB 大小的日志时 会有 四个压缩文件和一个container.log

[root@localhost local-logs]# ls -l
total 32544
-rw-r-----. 1 root root 18339944 May 16 09:41 container.log
-rw-r-----. 1 root root  3698660 May 16 09:41 container.log.1.gz
-rw-r-----. 1 root root  3726315 May 16 09:41 container.log.2.gz
-rw-r-----. 1 root root  3805668 May 16 09:41 container.log.3.gz
-rw-r-----. 1 root root  3744104 May 16 09:41 container.log.4.gz

那么当超过了 100MB 的日志文件,日志文件会持续写入到 container.log,然而会将 container.log 日志中老的日志删除,追加新的,也就是 当写满 100MB 日志后,再产生一条新日志,会删除 container.log 中的一条老日志,保留 100MB 的大小。这个 对咱们是会有一些影响的,

当我运行零碎时 第一天因为 bug 产生了 100MB 日志,那么之前的日志就曾经有 80MB 日志变成的压缩包,所以我在后续的运行中,只能获取最近的 20MB 日志。
日志驱动 二、默认的日志驱动—JSON

所有容器默认的日志驱动 json-file

json-file 日志驱动 记录从容器的 STOUT/STDERR 的输入,用 JSON 的格局写到文件中,日志中不仅蕴含着 输入日志,还有工夫戳和 输入格局。上面是一个 ping www.baidu.com 对应的 JSON 日志

{"log":"64 bytes from 14.215.177.39: seq=34 ttl=55 time=7.067 ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}

json-file  日志的门路位于 /var/lib/docker/containers/container_id/container_id-json.log

json-file 的 日志驱动反对以下选项:

json-file 的日志驱动示例

# 设置 日志驱动为 json-file,咱们也能够不设置,因为默认就是 json-file
docker run  -itd  --name  test-log-json  --log-driver json-file   alpine  ping www.baidu.com
199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e

# 查看日志, 日志名称就是 容器名称 -json.log
tail -f /var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log
{"log":"64 bytes from 14.215.177.39: seq=13 ttl=55 time=15.023 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}
{"log":"64 bytes from 14.215.177.39: seq=14 ttl=55 time=9.640 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}
{"log":"64 bytes from 14.215.177.39: seq=15 ttl=55 time=8.938 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}
{"log":"64 bytes from 14.215.177.39: seq=16 ttl=55 time=18.086 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}
{"log":"64 bytes from 14.215.177.39: seq=17 ttl=55 time=12.615 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}
{"log":"64 bytes from 14.215.177.39: seq=18 ttl=55 time=11.001 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}
日志驱动 三、syslog

syslog 日志驱动将日志路由到 syslog 服务器,syslog 以原始的字符串作为 日志音讯元数据,接管方能够提取以下的音讯:

  • level  日志等级,如debugwarningerrorinfo
  • timestamp  工夫戳
  • hostname  事件产生的主机
  • facillty  零碎模块
  • 过程名称和过程 ID

syslog 日志驱动全局配置

编辑 /etc/docker/daemon.json 文件

{  
  "log-driver": "syslog", 
  "log-opts":
  {"syslog-address": "udp://1.2.3.4:1111"}
}

重启 docker  即可失效。


单个容器日志驱动设置为—syslog

Linux 零碎中 咱们用的系统日志模块时 rsyslog,它是基于syslog 的规范实现。咱们要应用 syslog 驱动须要应用 零碎自带的 rsyslog 服务。

# 查看以后 rsyslog 版本和根本信息
[root@localhost harbor]# rsyslogd  -v
rsyslogd 8.24.0, compiled with:   
PLATFORM:               x86_64-redhat-linux-gnu   
PLATFORM (lsb_release -d):         
FEATURE_REGEXP:             Yes    
GSSAPI Kerberos 5 support:      Yes    
FEATURE_DEBUG (debug build, slow code): No    
32bit Atomic operations supported:  Yes   
64bit Atomic operations supported:  Yes    
memory allocator:           system default    
Runtime Instrumentation (slow code):    No   
uuid support:               Yes    
Number of Bits in RainerScript integers: 64


See http://www.rsyslog.com for more information.

配置 syslog , 在配置文件 /etc/rsyslog.conf 大概 14-20 行,咱们能够看到两个配置,一个 udp,一个 tcp,都是监听 514 端口,提供 syslog 的接管。抉择 tcp 就将 tcp 的两个配置的后面 # 号正文即可。

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp  
#$InputTCPServerRun 514

而后重启 rsyslog,咱们能够看到 514 端口在监听。

systemctl restart  rsyslog
[root@localhost harbor]# netstat -ntul |grep 514
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN     
tcp6       0      0 :::514                  :::*                    LISTEN  

启动一个以 syslog 为驱动的容器。

docker  run -d -it  -p 87:80 --log-driver syslog --log-opt syslog-address=tcp://127.0.0.1:514  --name nginx-syslog   nginx

拜访并查看日志

# 拜访 nginx
curl 127.0.0.1:87
# 查看拜访日志
tail -f  /var/log/messages
May 17 15:56:48 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:56:48 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015
May 17 15:58:16 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:58:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015
日志驱动 四、Journald

journald 日志驱动程序将容器的日志发送到 systemd journal, 能够应用 journal API 或者应用 docker logs 来查日志。

除了日志自身以外,journald 日志驱动还会在日志加上上面的数据与音讯一起贮存。

Field

选项

journald 日志驱动全局配置

编辑 /etc/docker/daemon.json 文件

{"log-driver": "journald"}

单个容器日志驱动设置为—journald

docker  run  -d -it 
--log-driver=journald \    
--log-opt labels=location \    
--log-opt env=TEST \    
--env "TEST=false" \    
--label location=china \    
--name  nginx-journald\    
-p 80:80\    
nginx

查看日志 journalctl

# 只查问指定容器的相干音讯 
journalctl CONTAINER_NAME=webserver
# -b 指定从上次启动以来的所有音讯 
journalctl -b CONTAINER_NAME=webserver
# -o 指定日志音讯格局,-o json 示意以 json 格局返回日志音讯 
journalctl -o json CONTAINER_NAME=webserver
# -f 始终捕捉日志输入 
journalctl -f CONTAINER_NAME=webserver

如果咱们的容器在启动的时候加了 -t 参数,启用了 TTY 的话,那么我查看日志是会像上面一样

May 17 17:19:26 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]May 17 17:19:32 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]

显示[104B blob data] 而不是残缺日志起因是因为有 \r 的存在,如果咱们要残缺显示,须要加上参数 --all

三、生产环境中该如何贮存容器中的日志

咱们在下面看到了 Docker 官网提供了 很多日志驱动,然而下面的这些驱动都是针对的 规范输入的日志驱动。

容器日志分类

容器的日志理论是有两大类的:

  • 规范输入的 ,也就是 STDOUT、STDERR , 这类日志咱们能够通过 Docker 官网的日志驱动进行收集。

    示例:Nginx 日志,Nginx 日志有 access.logerror.log,咱们在 Docker Hub 上能够看到  Nginx 的 dockerfile  对于这两个日志的解决是:

    RUN ln -sf /dev/stdout /var/log/nginx/access.log \  && ln -sf /dev/stderr /var/log/nginx/error.log

    都软连贯到 /dev/stdout/dev/stderr,也就是规范输入,所以这类 容器是能够应用 Docker 官网的日志驱动。

  • 文本日志,存在在于容器外部,并没有重定向到 容器的规范输入的日志。

    示例:Tomcat 日志,Tomcat 有 catalina、localhost、manager、admin、host-manager,咱们能够在 Docker Hub 看到 Tomcat 的 dockerfile 只有对于 catalina 进行解决,其它日志将贮存在容器里。

    CMD ["catalina.sh", "run"]

    咱们运行了一个 Tomcat 容器,而后进行拜访后,并登陆到容器外部,咱们能够看到产生了文本日志:

    root@25ba00fdab97:/usr/local/tomcat/logs# ls -l
    total 16
    -rw-r-----. 1 root root 6822 May 17 14:36 catalina.2019-05-17.log
    -rw-r-----. 1 root root    0 May 17 14:36 host-manager.2019-05-17.log
    -rw-r-----. 1 root root  459 May 17 14:36 localhost.2019-05-17.log
    -rw-r-----. 1 root root 1017 May 17 14:37 localhost_access_log.2019-05-17.txt
    -rw-r-----. 1 root root    0 May 17 14:36 manager.2019-05-17.log

    这类容器咱们上面有专门的计划来应答。

一、当是齐全是规范输入的类型的容器

咱们能够抉择  json-file、syslog、local 等 Docker 反对的日志驱动。

二、当有文件文本日志的类型容器

计划一 挂载目录  bind

创立一个目录,将目录挂载到 容器中产生日志的目录。

--mount  type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/ 

示例:

# 创立挂载目录 /opt/logs
[root@fy-local-2 /]# mkdir  /opt/logs
# 创立容器 tomcat-bind 并将 /opt/logs 挂载至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-bind  -P  --mount  type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/   tomcat
[root@fy-local-2 /]# ls -l /opt/logs/
total 12
-rw-r----- 1 root root 6820 May 22 17:31 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:31 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:31 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:31 manager.2019-05-22.log
计划二 应用数据卷 volume

创立数据卷,创立容器时绑定数据卷,

--mount  type=volume  src=volume_name  dst=/usr/local/tomcat/logs/ 

示例:

# 创立 tomcat 利用数据卷名称为 tomcat
[root@fy-local-2 /]# docker volume  create  tomcat
# 创立容器 tomcat-volume 并指定数据卷为 tomcat,绑定至 /usr/local/tomcat/logs/
[root@fy-local-2 /]# docker  run -d  --name  tomcat-volume   -P  --mount  type=volume,src=tomcat,dst=/usr/local/tomcat/logs/   tomcat
# 查看数据卷外面的内容
[root@fy-local-2 /]# ls -l /var/lib/docker/volumes/tomcat/_data/
total 12
-rw-r----- 1 root root 6820 May 22 17:33 catalina.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 host-manager.2019-05-22.log
-rw-r----- 1 root root  459 May 22 17:33 localhost.2019-05-22.log
-rw-r----- 1 root root    0 May 22 17:33 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root    0 May 22 17:33 manager.2019-05-22.log
计划三 计算容器 rootfs 挂载点

此计划的文字内容摘抄于 https://yq.aliyun.com/article…

应用挂载宿主机目录的形式采集日志对利用会有肯定的侵入性,因为它要求容器启动的时候蕴含挂载命令。如果采集过程能对用户通明那就太棒了。事实上,能够通过计算容器 rootfs 挂载点来达到这种目标。

和容器 rootfs 挂载点密不可分的一个概念是 storage driver。理论应用过程中,用户往往会依据 linux 版本、文件系统类型、容器读写状况等因素抉择适合的 storage driver。不同 storage driver 下,容器的 rootfs 挂载点遵循肯定法则,因而咱们能够依据 storage driver 的类型推断出容器的 rootfs 挂载点,进而采集容器外部日志。下表展现了局部 storage dirver 的 rootfs 挂载点及其计算方法。

示例:

# 创立容器 tomcat-test
[root@fy-local-2 /]# docker  run -d  --name  tomcat-test  -P  tomcat
36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
# 查看 tomcat-test 容器的 挂载点地位
[root@fy-local-2 /]# docker inspect -f '{{.GraphDriver.Data.MergedDir}}' 36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff  
/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
# 查看挂载点的目录构造[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
total 4
drwxr-xr-x 1 root root  179 May  8 13:05 bin
drwxr-xr-x 2 root root    6 Mar 28 17:12 boot
drwxr-xr-x 1 root root   43 May 22 17:27 dev
lrwxrwxrwx 1 root root   33 May  8 13:08 docker-java-home -> /usr/lib/jvm/java-8-openjdk-amd64
drwxr-xr-x 1 root root   66 May 22 17:27 etc
drwxr-xr-x 2 root root    6 Mar 28 17:12 home
drwxr-xr-x 1 root root    6 May 16 08:50 lib
drwxr-xr-x 2 root root   34 May  6 08:00 lib64
drwxr-xr-x 2 root root    6 May  6 08:00 media
drwxr-xr-x 2 root root    6 May  6 08:00 mnt
drwxr-xr-x 2 root root    6 May  6 08:00 opt
drwxr-xr-x 2 root root    6 Mar 28 17:12 proc
drwx------ 1 root root   27 May 22 17:29 root
drwxr-xr-x 3 root root   30 May  6 08:00 run
drwxr-xr-x 2 root root 4096 May  6 08:00 sbin
drwxr-xr-x 2 root root    6 May  6 08:00 srv
drwxr-xr-x 2 root root    6 Mar 28 17:12 sys
drwxrwxrwt 1 root root   29 May 16 08:50 tmp
drwxr-xr-x 1 root root   19 May  6 08:00 usr
drwxr-xr-x 1 root root   41 May  6 08:00 var
# 查看日志
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/
total 20
-rw-r----- 1 root root 14514 May 22 17:40 catalina.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 host-manager.2019-05-22.log
-rw-r----- 1 root root  1194 May 22 17:40 localhost.2019-05-22.log
-rw-r----- 1 root root     0 May 22 17:27 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root     0 May 22 17:27 manager.2019-05-22.log
计划四  在代码层中实现间接将日志写入 redis

docker  ——》redis ——》Logstash——》Elasticsearch,通过代码层面,间接将日志写入redis, 最初写入 Elasticsearch

以上就是对 Docker 日志的所有的概念解释和方提供,具体采纳什么计划,依据公司的具体的业务来抉择。适合的才是最好的。

退出移动版