Supervisord 进程守护监控
1.介绍Supervisor
- supervisord
运行 Supervisor 时会启动一个进程 supervisord，它负责启动所管理的进程，并将所管理的进程作为自己的子进程来启动，而且可以在所管理的进程出现崩溃时自动重启。
- supervisorctl
是命令行管理工具，可以用来执行 stop、start、restart 等命令，来对这些子进程进行管理。
supervisor是所有进程的父进程，管理着启动的子进展，supervisor以子进程的PID来管理子进程，当子进程异常退出时supervisor可以收到相应的信号量。
2.supervisor安装
方式1:
yum install python-setuptools yum install supervisor方式2:
yum install python-setuptools -y wget https://pypi.python.org/packages/source/s/supervisor/supervisor-3.1.3.tar.gz tar zxvf supervisor-3.1.3.tar.gz cd supervisor-3.1.3 python setup.py install管理：
systemctl status supervisord systemctl enable supervisord --now
2.supervisord_conf详解
cat /etc/supervisord.conf
[root@centos-011 ~ 07:50:00]#cat /etc/supervisord.conf.bak ; Sample supervisor config file. [unix_http_server] file=/var/run/supervisor/supervisor.sock ; socket 路径 ;chmod=0700 ; socket 文件的权限 ;chown=nobody:nogroup ; socket 所属用户及组 ;username=user ; 用户名 ;password=123 ; 密码 ;[inet_http_server] ; 是否启用服务，默认是关闭的（启用的话可以看到supervisor 管理的服务状态） ;port=127.0.0.1:9001 ; 监听的IP及端口 ;username=user ; 用户名 ;password=123 ; 密码 [supervisord] ; supervisord 全局配置 logfile=/var/log/supervisor/supervisord.log ; supervisor 日志路径 logfile_maxbytes=50MB ; 单个日志文件最大数 logfile_backups=10 ; 保留多少个日志文件（默认10个） loglevel=info ; (log level;default info; others: debug,warn,trace) pidfile=/var/run/supervisord.pid ; pid 文件路径 nodaemon=false ; 启动是否丢到前台，设置为false ，表示以daemon 的方式启动 minfds=1024 ; 最小文件打开数，对应系统limit.conf 中的nofile ,默认最小为1024，最大为4096 minprocs=200 ; 最小的进程打开数，对应系统的limit.conf 中的nproc,默认为200 ;umask=022 ; (process file creation umask;default 022) ;user=chrism ; 启动supervisord 服务的用户，默认为root ;identifier=supervisor ; (supervisord identifier, default is 'supervisor') ;directory=/tmp ; 这里的目录指的是服务的工作目录 ;nocleanup=true ; (don't clean up tempfiles at start;default false) ;childlogdir=/tmp ; ('AUTO' child log dir, default $TEMP) ;environment=KEY=value ; (key value pairs to add to environment) ;strip_ansi=false ; (strip ansi escape codes in logs; def. false) ; the below section must remain in the config file for RPC ; (supervisorctl/web interface) to work, additional interfaces may be ; added by defining them in separate rpcinterface: sections [rpcinterface:supervisor] supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface [supervisorctl] serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL for a unix socket ;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket ;username=chris ; should be same as http_username if set ;password=123 ; should be same as http_password if set ;prompt=mysupervisor ; cmd line prompt (default "supervisor") ;history_file=~/.sc_history ; use readline history if available ; The below sample program section shows all possible program subsection values, ; create one or more 'real' program: sections to be able to control them under ; supervisor. ;[program:theprogramname] ; 定义一个守护进程 ，比如下面的elasticsearch ;command=/bin/cat ; 启动程序使用的命令，可以是绝对路径或者相对路径 ;process_name=%(program_name)s ; 一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)s ;numprocs=1 ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1 ;directory=/tmp ; supervisord在生成子进程的时候会切换到该目录 ;umask=022 ; umask for process (default None) ;priority=999 ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999 ;autostart=true ; 如果设置为true，当supervisord启动的时候，进程会自动启动 ;autorestart=true ; 设置为随 supervisord 重启而重启，值可以是false、true、unexpected。false：进程不会自动重启 ;startsecs=10 ; 程序启动后等待多长时间后才认为程序启动成功，默认是10秒 ;startretries=3 ; supervisord尝试启动一个程序时尝试的次数。默认是3 ;exitcodes=0,2 ; 一个预期的退出返回码，默认是0,2。 ;stopsignal=QUIT ; 当收到stop请求的时候，发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2 ;stopwaitsecs=10 ; 在操作系统给supervisord发送SIGCHILD信号时等待的时间 ;user=chrism ; 如果supervisord以root运行，则会使用这个设置用户启动子程序 ;redirect_stderr=true ; 如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符 ;stdout_logfile=/a/path ; 把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置 ;stdout_logfile_maxbytes=1MB ; 标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小 ;stdout_logfile_backups=10 ; 标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份 ;stdout_capture_maxbytes=1MB ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB ;stdout_events_enabled=false ; 如果设置为true，当进程在写它的stderr ;stderr_logfile=/a/path ; 把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true ;stderr_logfile_maxbytes=1MB ; 错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小 ;stderr_logfile_backups=10 ; 错误日志轮转备份的数量，默认是10，如果设置为0，则不备份 ;stderr_capture_maxbytes=1MB ; 当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB ;stderr_events_enabled=false ; 如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发 ;environment=A=1,B=2 ; 一个k/v对的list列表 ;serverurl=AUTO ; 是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url ; The below sample eventlistener section shows all possible ; eventlistener subsection values, create one or more 'real' ; eventlistener: sections to be able to handle event notifications ; sent by supervisor. #这个地方是自定义一个守护进程 [program:elasticsearch] ; 定义一个守护进程 elasticsearch environment=ES_HOME=/usr/local/elasticsearch ; 设置ES_HOME 环境变量 user=elk ; 启动elasticsearch 的用户 directory=/usr/local/elasticsearch ; 进入到这个目录中 command=/usr/local/elasticsearch/bin/elasticsearch ; 执行启动命令 numprocs=1 ; Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1 autostart=true ; 设置为随 supervisord 启动而启动 autorestart=true ; 设置为随 supervisord 重启而重启 startretries=3 ; 设置elasticsearch 重启的重试次数 priority=1 ; 权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999 ;[eventlistener:theeventlistenername] ;command=/bin/eventlistener ; the program (relative uses PATH, can take args) ;process_name=%(program_name)s ; process_name expr (default %(program_name)s) ;numprocs=1 ; number of processes copies to start (def 1) ;events=EVENT ; event notif. types to subscribe to (req'd) ;buffer_size=10 ; event buffer queue size (default 10) ;directory=/tmp ; directory to cwd to before exec (def no cwd) ;umask=022 ; umask for process (default None) ;priority=-1 ; the relative start priority (default -1) ;autostart=true ; start at supervisord start (default: true) ;autorestart=unexpected ; restart at unexpected quit (default: unexpected) ;startsecs=10 ; number of secs prog must stay running (def. 1) ;startretries=3 ; max # of serial start failures (default 3) ;exitcodes=0,2 ; 'expected' exit codes for process (default 0,2) ;stopsignal=QUIT ; signal used to kill process (default TERM) ;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10) ;user=chrism ; setuid to this UNIX account to run the program ;redirect_stderr=true ; redirect proc stderr to stdout (default false) ;stdout_logfile=/a/path ; stdout log path, NONE for none; default AUTO ;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB) ;stdout_logfile_backups=10 ; # of stdout logfile backups (default 10) ;stdout_events_enabled=false ; emit events on stdout writes (default false) ;stderr_logfile=/a/path ; stderr log path, NONE for none; default AUTO ;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB) ;stderr_logfile_backups ; # of stderr logfile backups (default 10) ;stderr_events_enabled=false ; emit events on stderr writes (default false) ;environment=A=1,B=2 ; process environment additions ;serverurl=AUTO ; override serverurl computation (childutils) ; The below sample group section shows all possible group values, ; create one or more 'real' group: sections to create "heterogeneous" ; process groups. ;[group:thegroupname] ; 服务组管理，可以将多个服务名写到这里管理(组名自定义） ;programs=progname1,progname2 ; 上面配置好的服务名，比如elasticsearch,kibana,logstash ;priority=999 ; the relative start priority (default 999) ; The [include] section can just contain the "files" setting. This ; setting can list multiple files (separated by whitespace or ; newlines). It can also contain wildcards. The filenames are ; interpreted as relative to this file. Included files *cannot* ; include files themselves. [include] files = supervisord.d/*.ini注意修改文件限制
supervisord的配置区域内有"mindfs"的配置，解释如下：“avail startup file descriptors;default 1024”
# 文档中指出，如果用root用户启动的supervisord，可以尝试增大此值。 The minimum number of file descriptors that must be available before supervisord will start successfully. A call to setrlimit will be made to attempt to raise the soft and hard limits of the supervisord process to satisfy minfds. The hard limit may only be raised if supervisord is run as root. supervisord uses file descriptors liberally, and will enter a failure mode when one cannot be obtained from the OS, so it’s useful to be able to specify a minimum value to ensure it doesn’t run out of them during execution. These limits will be inherited by the managed subprocesses. This option is particularly useful on Solaris, which has a low per-process fd limit by default.修改supervisord的mindfs值至65535
# grep "minfds" /etc/supervisord.conf minfds=655350 ; (min. avail startup file descriptors;default 1024)
3.监控应用
首先更改include
/etc/supervisord.conf [include] files = supervisord.d/*.conf在
cd /etc/supervisord.d/下面进行书写cat /etc/supervisord.d/elasticsearch.conf [program:elasticsearch] command=/usr/share/elasticsearch/bin/elasticsearch -p /var/run/elasticsearch/elasticsearch.pid --quiet user=elasticsearch environment=JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64/jre priority=1 autostart=true autorestart=true startretries=10 exitcodes=0 stopsignal=KILL stopwaitsecs=60 redirect_stderr=true # 常用参数解释 [program:test_one] command=java -jar /data/taskApp-exec.jar TaskTestOne ; 被监控的进程路径 priority=1 ; 数字越高，优先级越高 numprocs=1 ; 启动几个进程 autostart=true ; 随着supervisord的启动而启动 autorestart=true ; 自动重启 startretries=10 ; 启动失败时的最多重试次数 exitcodes=0 ; 正常退出代码 stopsignal=KILL ; 用来杀死进程的信号 stopwaitsecs=10 ; 发送SIGKILL前的等待时间 redirect_stderr=true ; 重定向stderr到stdout子配置文件常用的参数详情
- command： #启动程序使用的命令，可以是绝对路径或者相对路径 - process_name： #一个python字符串表达式，用来表示supervisor进程启动的这个的名称，默认值是%(program_name)s - numprocs： #Supervisor启动这个程序的多个实例，如果numprocs>1，则process_name的表达式必须包含%(process_num)s，默认是1 - numprocs_start： #一个int偏移值，当启动实例的时候用来计算numprocs的值 - priority： #权重，可以控制程序启动和关闭时的顺序，权重越低：越早启动，越晚关闭。默认值是999 - autostart： #如果设置为true，当supervisord启动的时候，进程会自动重启。 - autorestart： #值可以是false、true、unexpected。false：进程不会自动重启，unexpected：当程序退出时的退出码不是exitcodes中定义的时，进程会重启，true：进程会无条件重启当退出的时候。 - startsecs： #程序启动后等待多长时间后才认为程序启动成功 - startretries： #supervisord尝试启动一个程序时尝试的次数。默认是3 - exitcodes： #一个预期的退出返回码，默认是0,2。 - stopsignal： #当收到stop请求的时候，发送信号给程序，默认是TERM信号，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2。 - stopwaitsecs： #在操作系统给supervisord发送SIGCHILD信号时等待的时间 - stopasgroup： #如果设置为true，则会使supervisor发送停止信号到整个进程组 - killasgroup： #如果设置为true，则在给程序发送SIGKILL信号的时候，会发送到整个进程组，它的子进程也会受到影响。 - user： #如果supervisord以root运行，则会使用这个设置用户启动子程序 - redirect_stderr： #如果设置为true，进程则会把标准错误输出到supervisord后台的标准输出文件描述符。 - stdout_logfile： #把进程的标准输出写入文件中，如果stdout_logfile没有设置或者设置为AUTO，则supervisor会自动选择一个文件位置。 - stdout_logfile_maxbytes： #标准输出log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小 - stdout_logfile_backups： #标准输出日志轮转备份的数量，默认是10，如果设置为0，则不备份 - stdout_capture_maxbytes： #当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB - stdout_events_enabled： #如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发 - stderr_logfile： #把进程的错误日志输出一个文件中，除非redirect_stderr参数被设置为true - stderr_logfile_maxbytes： #错误log文件达到多少后自动进行轮转，单位是KB、MB、GB。如果设置为0则表示不限制日志文件大小 - stderr_logfile_backups： #错误日志轮转备份的数量，默认是10，如果设置为0，则不备份 - stderr_capture_maxbytes： #当进程处于stderr capture mode模式的时候，写入FIFO队列的最大bytes值，单位可以是KB、MB、GB - stderr_events_enabled： #如果设置为true，当进程在写它的stderr到文件描述符的时候，PROCESS_LOG_STDERR事件会被触发 - environment： #一个k/v对的list列表 - directory： #supervisord在生成子进程的时候会切换到该目录 - umask： #设置进程的umask - serverurl： #是否允许子进程和内部的HTTP服务通讯，如果设置为AUTO，supervisor会自动的构造一个url
4.Supervisor相关命令
systemctl管理，在目录/usr/lib/systemd/system/ 新建文件supervisord.service,并添加配置内容
[Unit] Description=Process Monitoring and Control Daemon After=rc-local.service nss-user-lookup.target [Service] Type=forking ExecStart=/usr/bin/supervisord -c /usr/supervisor/supervisord.conf ;开机启动时执行 ExecStop=/usr/bin/supervisord shutdown ExecReload=/usr/bin/supervisord reload killMode=process Restart=on-failure RestartSec=42s [Install] WantedBy=multi-user.target启动服务
systemctl enable supervisord systemctl is-enabled supervisordsupervisor常用命令
有些版本并不支持supervisorctl ,可以通过
supervisorctl -c /usr/supervisor/supervisord.conf唤起命令# 查看当前运行的进程列表 # supervisorctl status pdate 更新新的配置到supervisord（不会重启原来已运行的程序） reload，载入所有配置文件，并按新的配置启动、管理所有进程（会重启原来已运行的程序） start xxx: 启动某个进程 restart xxx: 重启某个进程 stop xxx: 停止某一个进程(xxx)，xxx为[program:theprogramname]里配置的值 stop groupworker: 重启所有属于名为groupworker这个分组的进程(start,restart同理) stop all，停止全部进程，注：start、restart、stop都不会载入最新的配置文 reread，当一个服务由自动启动修改为手动启动时执行一下就ok
5.在Dockerfile中应用
实现容器持久运行不退出
默认supervisord的启动方式是daemon，即后台方式启动，因此要配置为前台启动，修改配置文件/etc/supervisord.conf中:
supervisord项的nodaemon属性值为truesed -i 's/nodaemon=false/nodaemon=true/g' /etc/supervisord.confDockerfile中ENTRYPOINT相关配置如下：
ENTRYPOINT ["/usr/bin/supervisord","-c","/etc/supervisord.conf"]完整的Dockerfile 文件参考
FROM registry.cn-huhehaote.aliyuncs.com/dockerdata/hotworld:base RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime RUN echo "Asia/Shanghai">/etc/timezone RUN yum makecache && yum install -y epel-release && yum install -y supervisor COPY sgms-app.jar /data/ ADD supervisord.conf /etc/supervisord.conf ADD app-supervisor.ini /etc/supervisord.d/ ENTRYPOINT ["/usr/bin/supervisord","-c","/etc/supervisord.conf"]其它运行不退出参考
CMD [“bash”,"-c","./start.sh start && tail -f /dev/null"]