关于python:一文搞懂supervisor进程管理

51次阅读

共计 10289 个字符,预计需要花费 26 分钟才能阅读完成。

supervisor

应用 Python 编写的过程管理程序 supervisor 来治理 Python 程序那是最合适不过了,supervisor 基于 CS 架构,次要有以下两个组成部分:

  1. supervisord:supervisord 是 supervisor 的服务端程序。负责启动子程序,应答客户端命令,子程序日志记录,对过程变动发送事件告诉等
  2. supervisorctl: 客户端命令行工具,能够连贯服务器端,进行过程的启动、敞开、重启、状态查看等。重要的一点是,supervisorctl 不仅能够连贯到本机上的 supervisord,还能够连贯到近程的 supervisord,当然在本机下面是通过 UNIX socket 连贯的,近程是通过 TCP socket 连贯的。supervisorctl 和 supervisord 之间的通信,是通过 xml_rpc 实现的。相应的配置在 [supervisorctl] 块外面

<!–more–>

装置

基于 ubuntu16.04,不同 linux 发行版均可应用包管理器进行装置,也能够应用源码装置和 pip 装置

apt-get install python-setuptools
apt-get install supervisor

pip 装置办法

pip install supervisor

以后最新版本 3.3.3,supervisord.conf 和 supervisord.d 文件夹已主动生成在 /etc/supervisor/ 目录下。能够应用 echo_supervisord_conf 命令将配置信息重定向到制订目录,比方 /etc

echo_supervisord_conf > /etc/supervisor/supervisord.conf

服务端启动

supervisord -c /etc/supervisor/supervisord.conf

查看 supervisord 是否在运行

ps aux | grep supervisord

supervisord.conf 详解

应用 echo_supervisord_conf 查看 supervisord.conf 可选的配置项:

echo_supervisord_conf help

详情如下

; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Notes:
;  - Shell expansion ("~" or "$HOME") is not supported.  Environment
;    variables can be expanded using this syntax: "%(ENV_HOME)s".
;  - Comments must have a leading space: "a=b ;comment" not "a=b;comment".

[unix_http_server]
file=/tmp/supervisor.sock   ; socket 文件门路
;chmod=0700                 ; socket 文件 模式 (默认 0700)
;chown=nobody:nogroup       ; socket file uid:gid owner
;username=user              ; 应用 supervisorctl 连贯的用户, 默认没有用户
;password=123               ; 应用 supervisorctl 连贯的用户明码, 默认没有明码

;[inet_http_server]         ; Web Server 和近程的 supervisorctl 配置块(默认敞开)
;port=127.0.0.1:9001        ; 监听的地址和端口
;username=user              ; 登录用户,默认没有用户
;password=123               ; 登录明码,默认没有明码

[supervisord]
logfile=/tmp/supervisord.log ; supervisord 过程日志门路
logfile_maxbytes=50MB        ; supervisord 过程单个日志文件大小,默认为 50M
logfile_backups=10           ; 日志文件个数,默认为 10 个
loglevel=info                ; 日志级别,默认为 info,还反对 debug,warn,trace)
pidfile=/tmp/supervisord.pid ; supervisord 的 pid 文件门路。nodaemon=false               ; 如果是 true,supervisord 过程将在前台运行 默认为 false(后盾运行)
minfds=1024                  ; 这个是起码零碎闲暇的文件描述符,低于这个值 supervisor 将不会启动
minprocs=200                 ; 最小可用的过程描述符,低于这个值 supervisor 也将不会失常启动
;umask=022                   ; 过程创立文件的掩码 (默认 022)
;user=chrism                 ; user 参数指定的用户也能够对 supervisord 进行治理
;identifier=supervisor       ; supervisord 的标识符,默认 supervisor
;directory=/tmp              ; 当 supervisord 以守护过程运行的时候,启动 supervisord 过程之前,会先切换到这个目录
;nocleanup=true              ; false 的时候 supervisord 过程启动的时候 会在把以前子过程产生的临时文件革除掉(true 不革除)
;childlogdir=/tmp            ; 当子过程日志门路为 AUTO 的时候,子过程日志文件的寄存门路 (默认 $TMP)
;environment=KEY="value"     ; 这个是用来设置环境变量的,supervisord 在 linux 中启动默认继承了 linux 的 环境变量,在这里能够设置 supervisord 过程特有的其余环境变量 supervisord 启动子过程时,子过程会拷贝父过程的内存空间内容。所以设置的这些环境变量也会被子过程继承 (默认不设置)
;strip_ansi=false            ; 默认为 falsh,如果设置为 true,会革除子过程日志中的所有 ANSI(\n,\t) 序列

; 这个选项是给 XML_RPC 用的,如果想应用 supervisord 或者 web server 必须要开启
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; supervisorctl 本地连接 supervisord,应用本地 UNIX socket
;serverurl=http://127.0.0.1:9001 ; supervisorctl 近程连贯 supervisord 的时候,用到的地址和端口
;username=chris              ; 连贯登录的用户名,须要和 http_username 统一
;password=123                ; 连贯登录的明码,须要和 http_password 统一
;prompt=mysupervisor         ; 输出用户名明码时候的提示符 默认:mysupervisor 
;history_file=~/.sc_history  ; 指定历史命令的文件


;[program:theprogramname]      ; 指定 program 配置
;command=/bin/cat              ; 要执行的过程 可带参数 $1 $2 $3  留神!! 执行的过程不能是守护过程 ! !
;process_name=%(program_name)s ; numprocs 参数为 1 时,就不必管这个参数 默认值 %(program_name)s 也就是下面的那个 program 冒号前面的名字
;numprocs=1                    ; 启动过程的数目。当不为 1 时,就是过程池的概念,默认为 1
;directory=/tmp                ; 过程运行前,会前切换到这个目录
;umask=022                     ; 过程掩码 (default None)
;priority=999                  ; 子过程启动敞开优先级,优先级低的,最先启动,敞开的时候最初敞开 (default 999)
;autostart=true                ; 设置为 true 子过程将在 supervisord 启动后被主动启动,默认为 true
;startsecs=1                   ; 设置子过程启动多少秒之后,此时状态如果是 running,则咱们认为启动胜利
;startretries=3                ; 过程启动失败后,最大尝试启动的次数 当超过 3 次后,supervisor 将把此过程的状态置为 FAIL
;autorestart=unexpected        ; 设置子过程挂掉后主动重启的状况,有三个选项,false,unexpected 和 true。如果为 false 的时候,无论什么状况下,都不会被重新启动,如果为 unexpected,只有当过程的退出码不在下面的 exitcodes 外面定义的退出码的时候,&gt; 才会被主动重启。当为 true 的时候,只有子过程挂掉,将会被无条件的重启。默认为 unexpected
;exitcodes=0,2                 ; 留神和下面的的 autorestart=unexpected 对应 exitcodes 外面的定义的退出码是 expected 的。;stopsignal=QUIT               ; 过程进行信号,能够为 TERM, HUP, INT, QUIT, KILL, USR1, or USR2 等信号 默认为 TERM 当用设定的信号去杀掉过程,退出码会被认为是 expected
;stopwaitsecs=10               ; 这个是当咱们向子过程发送 stopsignal 信号后,到零碎返回信息给 supervisord,所期待的最大工夫。超过这个工夫,supervisord 会向该子过程发送一个强制 kill 的信号(默认 10 秒)
;stopasgroup=false             ; 这个货色次要用于,supervisord 治理的子过程,这个子过程自身还有子过程 那么咱们如果仅仅干掉 supervisord 的子过程的话,子过程的子过程有可能会变成孤儿过程 所以咱们能够设置这个选项,把整个该子过程的整个过程组都干掉  设置为 true 的话,个别 killasgroup 也会被设置为 true 该选项发送的是 stop 信号(def false)
;killasgroup=false             ; 这个和下面的 stopasgroup 相似,不过发送的是 kill 信号(def false)
;user=chrism                   ; 如果 supervisord 是 root 启动,咱们在这里设置这个非 root 用户,能够用来治理该 program 默认不设置
;redirect_stderr=true          ; 为 true,则 stderr 的日志会被写入 stdout 日志文件中 (default false)
;stdout_logfile=/a/path        ; 子过程的 stdout 的日志门路,能够指定门路,AUTO,none 等三个选项 设置为 none 的话,将没有日志产生。设置为 AUTO 的话,将随机找一个中央成日志文件,而且当 supervisord 重新启动的时候,以前的日志文件会被清空。当 redirect_stderr=true 的时候,sterr 也会写进这个日志文件
;stdout_logfile_maxbytes=1MB   ; 日志文件最大大小,和 [supervisord] 中定义的一样 (default 50MB)
;stdout_logfile_backups=10     ; 和 [supervisord] 定义的一样 (0 means none, default 10)
;stdout_capture_maxbytes=1MB   ; 这个货色是设定 capture 管道的大小,当值不为 0 的时候,子过程能够从 stdout 发送信息,而 supervisor 能够依据信息,发送相应的 event  (default 0)
;stdout_events_enabled=false   ; 为 ture 的时候,当子过程由 stdout 向文件描述符中写日志的时候,将触发 supervisord 发送 PROCESS_LOG_STDOUT 类型的 event(default false)
;stderr_logfile=/a/path        ; 设置 stderr 写的日志门路,当 redirect_stderr=true。这个就不必设置了,设置了也是白搭。因为它会被写入 stdout_logfile 的同一个文件中 default AUTO(轻易找个地存,supervisord 重启被清空)
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; 这个是该子过程的环境变量,和别的子过程是不共享的
;serverurl=AUTO                ; override serverurl computation (childutils)

;[eventlistener:theeventlistenername]    ; eventlistener 其实和 program 的位置是一样的,也是 suopervisor 启动的子过程,不过它干的活是订阅 supervisord 发送的 event。他的名字就叫 listener 了。咱们能够在 listener 外面做一系列解决,比方报警....
;command=/bin/eventlistener    ; 和下面的 program 一样,示意 listener 的可执行文件的门路
;process_name=%(program_name)s ; 这个也一样,过程名,当上面的 numprocs 为多个的时候,才须要。否则默认就 OK 了
;numprocs=1                    ; 雷同的 listener 启动的个数,默认 1
;events=EVENT                  ; event event 事件的类型,也就是说,只有写在这个中央的事件类型。才会被发送
;buffer_size=10                ; event 队列缓存大小 (default 10)
;directory=/tmp                ; 过程执行前,会切换到这个目录下执行 (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=-1                   ; 启动优先级 (default -1)
;autostart=true                ; supervisord 启动时一起启动 (default: true)
;startsecs=1                   ; 设置子过程启动多少秒之后,此时状态如果是 running,则咱们认为启动胜利了 (def. 1)
;startretries=3                ; 失败最大尝试次数 (default 3)
;autorestart=unexpected        ; 和 program 一样 (def: unexpected)
;exitcodes=0,2                 ; 'expected' exit codes used with autorestart (default 0,2)
;stopsignal=QUIT               ; signal used to kill process (default TERM)
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=false         ; redirect_stderr=true is not allowed for eventlisteners
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)

;[group:thegroupname]          ; 给 programs 分组,划分到组外面的 program。咱们就不必一个一个去操作了 咱们能够对组名进行对立的操作。留神:program 被划分到组外面之后,就相当于原来的配置从 supervisor 的配置文件里隐没了 supervisor 只会对组进行治理,而不再会对组外面的单个 program 进行治理了
;programs=progname1,progname2  ; 组成员,用逗号离开
;priority=999                  ; 优先级,绝对于组和组之间 (default 999)

;[include]                     ; 蕴含的程序配置文件
;files = relative/directory/*.ini

提取 supervisord.conf 模板

采纳 supervisord.conf 和 program.conf 拆散的形式进行本机过程治理,从默认配置中抽取出罕用的 supervisord 模板

; supervisor config file

[unix_http_server]
file=/var/run/supervisor.sock   ; (the path to the socket file)

[inet_http_server]         ; inet (TCP) server disabled by default
port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for all iface)
username=erow              ; (default is no username (open server))
password=j                 ; (default is no password (open server))

[supervisord]
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
loglevel=debug               ; (log level;default info; others: debug,warn,trace)
logfile_maxbytes=10MB        ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10           ; (num of main logfile rotation backups;default 10)

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL  for a unix socket

[include]
files = /etc/supervisor/conf.d/*.ini

模板抽取基于以下思考

  • 必填选项不可少
  • 服务端反对本地 supervisorctl 客户端连贯也反对近程连贯
  • 测试环境日志级别设置为 debug,生产环境日志级别设置为 info,批改 loglevel 字段即可
  • 日志文件大小和个数须要参考服务端所在机器的磁盘大小,会产生 stderr 和 stdout 两种日志
  • pid 文件和 log 文件都不倡议寄存在 /tmp 上面,容易被误删除,因而放在 var 目录下

提取 program.conf 模板

从默认配置中抽取出罕用的 program 模板

[program:concurrency_statistician]
directory = /root/qk_python/data/statistic/concurrency_statistician
command = python concurrency_statistician.py
autostart = true
startsecs = 5
autorestart = true
startretries = 3
user = root

如果独自调整 program 日志大小和个数,则退出 stdout 和 stderr 四个参数,新的配置文件如下

[program:concurrency_statistician]
directory = /root/qk_python/data/statistic/concurrency_statistician
command = python concurrency_statistician.py
autostart = true
startsecs = 5
autorestart = true
startretries = 3
user = root
stdout_logfile_maxbytes = 10MB
stdout_logfile_backups = 10
stderr_logfile_maxbytes = 10MB
stderr_logfile_backups = 10

个别状况下,不须要指定日志文件名称,默认的日志文件名称组成为

  • 程序名称 + 日志类型(stdout 和 stderr)+ supervisor+ 过程号 + 日志编号

文件名称示例:concurrency_statistician-stderr—supervisor-OpZ5di.log.2

须要留神:supervisor 服务端程序 supervisord 重新启动之后,会产生新的 pid。因而日志只会在新的过程日志中产生,老的子过程日志不会被删除。因而如果须要重新启动 supervisord,则须要留神是否要保留老过程日志,免得超过磁盘大小。

个别状况下,生产环境中不会常常重启 supervisord

罕用 supervisorctl 命令

能够进入 supervisorctl 的 shell 界面,也能够间接在 bash 终端运行

# 进行某一个过程,program_name 为 [program:x] 里的 x
supervisorctl stop program_name
# 启动某个过程
supervisorctl start program_name
# 重启某个过程
supervisorctl restart program_name
# 进行全副过程,注:start、restart、stop 都不会载入最新的配置文件
supervisorctl stop all
# 载入最新的配置文件,进行原有过程并按新的配置启动、治理所有过程
supervisorctl reload
# 依据最新的配置文件,启动新配置或有改变的过程,配置没有改变的过程不会受影响而重启
supervisorctl update

对于 program groups 的命令应用较少暂不介绍


参考资料:

  1. supervisor 官网文档
  2. 小强斋太 -Supervisor 简介、装置、配置
  3. 应用 supervisor 治理过程
  4. 廖雪峰 -Linux 后盾过程治理利器:supervisor
  5. 乌龟运维 -Supervisor 装置及配置
  6. oschina-SUPERVISOR 过程管理器配置指南

记得帮我点赞哦!

精心整顿了计算机各个方向的从入门、进阶、实战的视频课程和电子书,依照目录正当分类,总能找到你须要的学习材料,还在等什么?快去关注下载吧!!!

朝思暮想,必有回响,小伙伴们帮我点个赞吧,非常感谢。

我是职场亮哥,YY 高级软件工程师、四年工作教训,回绝咸鱼争当龙头的斜杠程序员。

听我说,提高多,程序人生一把梭

如果有幸能帮到你,请帮我点个【赞】,给个关注,如果能顺带评论给个激励,将不胜感激。

职场亮哥文章列表:更多文章

自己所有文章、答复都与版权保护平台有单干,著作权归职场亮哥所有,未经受权,转载必究!

正文完
 0