supervisor
应用Python编写的过程管理程序supervisor来治理Python程序那是最合适不过了,supervisor基于CS架构,次要有以下两个组成部分:
- supervisord:supervisord是supervisor的服务端程序。负责启动子程序,应答客户端命令,子程序日志记录,对过程变动发送事件告诉等
- supervisorctl: 客户端命令行工具,能够连贯服务器端,进行过程的启动、敞开、重启、状态查看等。重要的一点是,supervisorctl不仅能够连贯到本机上的supervisord,还能够连贯到近程的supervisord,当然在本机下面是通过UNIX socket连贯的,近程是通过TCP socket连贯的。supervisorctl和supervisord之间的通信,是通过xml_rpc实现的。 相应的配置在[supervisorctl]块外面
<!--more-->
装置
基于ubuntu16.04,不同linux发行版均可应用包管理器进行装置,也能够应用源码装置和pip装置
apt-get install python-setuptoolsapt-get install supervisor
pip装置办法
pip install supervisor
以后最新版本3.3.3,supervisord.conf 和supervisord.d文件夹已主动生成在/etc/supervisor/目录下。能够应用echo_supervisord_conf命令将配置信息重定向到制订目录,比方/etc
echo_supervisord_conf > /etc/supervisor/supervisord.conf
服务端启动
supervisord -c /etc/supervisor/supervisord.conf
查看supervisord是否在运行
ps aux | grep supervisord
supervisord.conf详解
应用echo_supervisord_conf查看supervisord.conf可选的配置项:
echo_supervisord_conf help
详情如下
; Sample supervisor config file.;; For more information on the config file, please see:; http://supervisord.org/configuration.html;; Notes:; - Shell expansion ("~" or "$HOME") is not supported. Environment; variables can be expanded using this syntax: "%(ENV_HOME)s".; - Comments must have a leading space: "a=b ;comment" not "a=b;comment".[unix_http_server]file=/tmp/supervisor.sock ; socket 文件门路;chmod=0700 ; socket 文件 模式 (默认 0700);chown=nobody:nogroup ; socket file uid:gid owner;username=user ; 应用supervisorctl连贯的用户,默认没有用户;password=123 ; 应用supervisorctl连贯的用户明码,默认没有明码;[inet_http_server] ; Web Server和近程的supervisorctl 配置块(默认敞开);port=127.0.0.1:9001 ; 监听的地址和端口;username=user ; 登录用户,默认没有用户;password=123 ; 登录明码,默认没有明码[supervisord]logfile=/tmp/supervisord.log ; supervisord过程日志门路logfile_maxbytes=50MB ; supervisord过程单个日志文件大小,默认为50Mlogfile_backups=10 ; 日志文件个数,默认为10个loglevel=info ; 日志级别,默认为info,还反对debug,warn,trace)pidfile=/tmp/supervisord.pid ; supervisord的pid文件门路。nodaemon=false ; 如果是true,supervisord过程将在前台运行 默认为false(后盾运行)minfds=1024 ; 这个是起码零碎闲暇的文件描述符,低于这个值supervisor将不会启动minprocs=200 ; 最小可用的过程描述符,低于这个值supervisor也将不会失常启动;umask=022 ; 过程创立文件的掩码 (默认 022);user=chrism ; user参数指定的用户也能够对supervisord进行治理;identifier=supervisor ; supervisord的标识符,默认supervisor;directory=/tmp ; 当supervisord以守护过程运行的时候,启动supervisord过程之前,会先切换到这个目录;nocleanup=true ; false的时候 supervisord过程启动的时候 会在把以前子过程产生的临时文件革除掉(true不革除);childlogdir=/tmp ; 当子过程日志门路为AUTO的时候,子过程日志文件的寄存门路 (默认 $TMP);environment=KEY="value" ; 这个是用来设置环境变量的,supervisord在linux中启动默认继承了linux的 环境变量,在这里能够设置supervisord过程特有的其余环境变量supervisord启动子过程时,子过程会拷贝父过程的内存空间内容。 所以设置的这些环境变量也会被子过程继承 (默认不设置);strip_ansi=false ; 默认为falsh,如果设置为true,会革除子过程日志中的所有ANSI(\n,\t) 序列; 这个选项是给XML_RPC用的,如果想应用supervisord或者web server 必须要开启[rpcinterface:supervisor]supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface[supervisorctl]serverurl=unix:///tmp/supervisor.sock ; supervisorctl本地连接supervisord,应用本地UNIX socket;serverurl=http://127.0.0.1:9001 ; supervisorctl近程连贯supervisord的时候,用到的地址和端口;username=chris ; 连贯登录的用户名,须要和http_username统一;password=123 ; 连贯登录的明码,须要和http_password统一;prompt=mysupervisor ; 输出用户名明码时候的提示符 默认:mysupervisor ;history_file=~/.sc_history ; 指定历史命令的文件;[program:theprogramname] ; 指定program配置;command=/bin/cat ; 要执行的过程 可带参数 $1 $2 $3 留神!! 执行的过程不能是守护过程 ! !;process_name=%(program_name)s ; numprocs参数为1时,就不必管这个参数 默认值%(program_name)s也就是下面的那个program冒号前面的名字;numprocs=1 ; 启动过程的数目。当不为1时,就是过程池的概念,默认为1;directory=/tmp ; 过程运行前,会前切换到这个目录;umask=022 ; 过程掩码 (default None);priority=999 ; 子过程启动敞开优先级,优先级低的,最先启动,敞开的时候最初敞开 (default 999);autostart=true ; 设置为true 子过程将在supervisord启动后被主动启动,默认为true;startsecs=1 ; 设置子过程启动多少秒之后,此时状态如果是running,则咱们认为启动胜利;startretries=3 ; 过程启动失败后,最大尝试启动的次数 当超过3次后,supervisor将把此过程的状态置为FAIL;autorestart=unexpected ; 设置子过程挂掉后主动重启的状况,有三个选项,false,unexpected和true。如果为false的时候,无论什么状况下,都不会被重新启动,如果为unexpected,只有当过程的退出码不在下面的exitcodes外面定义的退出码的时候,>才会被主动重启。当为true的时候,只有子过程挂掉,将会被无条件的重启。默认为unexpected;exitcodes=0,2 ; 留神和下面的的autorestart=unexpected对应 exitcodes外面的定义的退出码是expected的。;stopsignal=QUIT ; 过程进行信号,能够为TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信号 默认为TERM 当用设定的信号去杀掉过程,退出码会被认为是expected;stopwaitsecs=10 ; 这个是当咱们向子过程发送stopsignal信号后,到零碎返回信息给supervisord,所期待的最大工夫。 超过这个工夫,supervisord会向该子过程发送一个强制kill的信号(默认10秒);stopasgroup=false ; 这个货色次要用于,supervisord治理的子过程,这个子过程自身还有子过程 那么咱们如果仅仅干掉supervisord的子过程的话,子过程的子过程有可能会变成孤儿过程 所以咱们能够设置这个选项,把整个该子过程的整个过程组都干掉 设置为true的话,个别killasgroup也会被设置为true 该选项发送的是stop信号(def false);killasgroup=false ; 这个和下面的stopasgroup相似,不过发送的是kill信号(def false);user=chrism ; 如果supervisord是root启动,咱们在这里设置这个非root用户,能够用来治理该program 默认不设置;redirect_stderr=true ; 为true,则stderr的日志会被写入stdout日志文件中 (default false);stdout_logfile=/a/path ; 子过程的stdout的日志门路,能够指定门路,AUTO,none等三个选项 设置为none的话,将没有日志产生。设置为AUTO的话,将随机找一个中央成日志文件,而且当supervisord重新启动的时候,以前的日志文件会被清空。当 redirect_stderr=true的时候,sterr也会写进这个日志文件;stdout_logfile_maxbytes=1MB ; 日志文件最大大小,和[supervisord]中定义的一样 (default 50MB);stdout_logfile_backups=10 ; 和[supervisord]定义的一样 (0 means none, default 10);stdout_capture_maxbytes=1MB ; 这个货色是设定capture管道的大小,当值不为0的时候,子过程能够从stdout发送信息,而supervisor能够依据信息,发送相应的event (default 0);stdout_events_enabled=false ; 为ture的时候,当子过程由stdout向文件描述符中写日志的时候,将触发supervisord发送PROCESS_LOG_STDOUT类型的event(default false);stderr_logfile=/a/path ; 设置stderr写的日志门路,当redirect_stderr=true。这个就不必设置了,设置了也是白搭。因为它会被写入stdout_logfile的同一个文件中 default AUTO(轻易找个地存,supervisord重启被清空);stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB);stderr_logfile_backups=10 ; # of stderr logfile backups (default 10);stderr_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0);stderr_events_enabled=false ; emit events on stderr writes (default false);environment=A="1",B="2" ; 这个是该子过程的环境变量,和别的子过程是不共享的;serverurl=AUTO ; override serverurl computation (childutils);[eventlistener:theeventlistenername] ; eventlistener其实和program的位置是一样的,也是suopervisor启动的子过程,不过它干的活是订阅supervisord发送的event。他的名字就叫listener了。咱们能够在listener外面做一系列解决,比方报警....;command=/bin/eventlistener ; 和下面的program一样,示意listener的可执行文件的门路;process_name=%(program_name)s ; 这个也一样,过程名,当上面的numprocs为多个的时候,才须要。否则默认就OK了;numprocs=1 ; 雷同的listener启动的个数,默认1;events=EVENT ; event event事件的类型,也就是说,只有写在这个中央的事件类型。才会被发送;buffer_size=10 ; event队列缓存大小 (default 10);directory=/tmp ; 过程执行前,会切换到这个目录下执行 (def no cwd);umask=022 ; umask for process (default None);priority=-1 ; 启动优先级 (default -1);autostart=true ; supervisord启动时一起启动 (default: true);startsecs=1 ; 设置子过程启动多少秒之后,此时状态如果是running,则咱们认为启动胜利了 (def. 1);startretries=3 ; 失败最大尝试次数 (default 3);autorestart=unexpected ; 和program一样 (def: unexpected);exitcodes=0,2 ; 'expected' exit codes used with autorestart (default 0,2);stopsignal=QUIT ; signal used to kill process (default TERM);stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10);stopasgroup=false ; send stop signal to the UNIX process group (default false);killasgroup=false ; SIGKILL the UNIX process group (def false);user=chrism ; setuid to this UNIX account to run the program;redirect_stderr=false ; redirect_stderr=true is not allowed for eventlisteners;stdout_logfile=/a/path ; stdout log path, NONE for none; default AUTO;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB);stdout_logfile_backups=10 ; # of stdout logfile backups (default 10);stdout_events_enabled=false ; emit events on stdout writes (default false);stderr_logfile=/a/path ; stderr log path, NONE for none; default AUTO;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB);stderr_logfile_backups=10 ; # of stderr logfile backups (default 10);stderr_events_enabled=false ; emit events on stderr writes (default false);environment=A="1",B="2" ; process environment additions;serverurl=AUTO ; override serverurl computation (childutils);[group:thegroupname] ; 给programs分组,划分到组外面的program。咱们就不必一个一个去操作了 咱们能够对组名进行对立的操作。 留神:program被划分到组外面之后,就相当于原来的配置从supervisor的配置文件里隐没了supervisor只会对组进行治理,而不再会对组外面的单个program进行治理了;programs=progname1,progname2 ; 组成员,用逗号离开;priority=999 ; 优先级,绝对于组和组之间 (default 999);[include] ;蕴含的程序配置文件;files = relative/directory/*.ini
提取supervisord.conf模板
采纳supervisord.conf和program.conf拆散的形式进行本机过程治理,从默认配置中抽取出罕用的supervisord模板
; supervisor config file[unix_http_server]file=/var/run/supervisor.sock ; (the path to the socket file)[inet_http_server] ; inet (TCP) server disabled by defaultport=127.0.0.1:9001 ; (ip_address:port specifier, *:port for all iface)username=erow ; (default is no username (open server))password=j ; (default is no password (open server))[supervisord]logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)loglevel=debug ; (log level;default info; others: debug,warn,trace)logfile_maxbytes=10MB ; (max main logfile bytes b4 rotation;default 50MB)logfile_backups=10 ; (num of main logfile rotation backups;default 10)[rpcinterface:supervisor]supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface[supervisorctl]serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL for a unix socket[include]files = /etc/supervisor/conf.d/*.ini
模板抽取基于以下思考
- 必填选项不可少
- 服务端反对本地supervisorctl客户端连贯也反对近程连贯
- 测试环境日志级别设置为debug,生产环境日志级别设置为info,批改loglevel字段即可
- 日志文件大小和个数须要参考服务端所在机器的磁盘大小,会产生stderr和stdout两种日志
- pid文件和log文件都不倡议寄存在/tmp上面,容易被误删除,因而放在var目录下
提取program.conf模板
从默认配置中抽取出罕用的program模板
[program:concurrency_statistician]directory = /root/qk_python/data/statistic/concurrency_statisticiancommand = python concurrency_statistician.pyautostart = truestartsecs = 5autorestart = truestartretries = 3user = root
如果独自调整program日志大小和个数,则退出stdout和stderr四个参数,新的配置文件如下
[program:concurrency_statistician]directory = /root/qk_python/data/statistic/concurrency_statisticiancommand = python concurrency_statistician.pyautostart = truestartsecs = 5autorestart = truestartretries = 3user = rootstdout_logfile_maxbytes = 10MBstdout_logfile_backups = 10stderr_logfile_maxbytes = 10MBstderr_logfile_backups = 10
个别状况下,不须要指定日志文件名称,默认的日志文件名称组成为
- 程序名称+日志类型(stdout和stderr)+ supervisor+过程号+日志编号
文件名称示例:concurrency_statistician-stderr---supervisor-OpZ5di.log.2
须要留神:supervisor服务端程序supervisord重新启动之后,会产生新的pid。因而日志只会在新的过程日志中产生,老的子过程日志不会被删除。因而如果须要重新启动supervisord,则须要留神是否要保留老过程日志,免得超过磁盘大小。个别状况下,生产环境中不会常常重启supervisord
罕用supervisorctl命令
能够进入 supervisorctl 的 shell 界面,也能够间接在 bash 终端运行
# 进行某一个过程,program_name 为 [program:x] 里的 xsupervisorctl stop program_name# 启动某个过程supervisorctl start program_name# 重启某个过程supervisorctl restart program_name# 进行全副过程,注:start、restart、stop 都不会载入最新的配置文件supervisorctl stop all# 载入最新的配置文件,进行原有过程并按新的配置启动、治理所有过程supervisorctl reload# 依据最新的配置文件,启动新配置或有改变的过程,配置没有改变的过程不会受影响而重启supervisorctl update
对于program groups的命令应用较少暂不介绍
参考资料:
- supervisor 官网文档
- 小强斋太-Supervisor简介、装置、配置
- 应用supervisor治理过程
- 廖雪峰-Linux后盾过程治理利器:supervisor
- 乌龟运维-Supervisor 装置及配置
- oschina-SUPERVISOR过程管理器配置指南
记得帮我点赞哦!
精心整顿了计算机各个方向的从入门、进阶、实战的视频课程和电子书,依照目录正当分类,总能找到你须要的学习材料,还在等什么?快去关注下载吧!!!
朝思暮想,必有回响,小伙伴们帮我点个赞吧,非常感谢。
我是职场亮哥,YY高级软件工程师、四年工作教训,回绝咸鱼争当龙头的斜杠程序员。听我说,提高多,程序人生一把梭
如果有幸能帮到你,请帮我点个【赞】,给个关注,如果能顺带评论给个激励,将不胜感激。
职场亮哥文章列表:更多文章
自己所有文章、答复都与版权保护平台有单干,著作权归职场亮哥所有,未经受权,转载必究!