关于nginx:高可用系列文章之三-NGINX-高可用实施方案

前文链接

1. 高可用系列文章之一 – 概述 – 东风微鸣技术博客 (ewhisper.cn)
2. 高可用系列文章之二 – 传统分层架构技术计划 – 东风微鸣技术博客 (ewhisper.cn)

四 NGINX 高可用实施方案

高可用的施行, 次要步骤概述如下:

1. NGINX 的装置及根底配置
2. 负载平衡层高可用: NGINX + Keepalived 配置
3. 应用服务层高可用: NGINX -> 应用服务层 转发配置

零碎软 硬件具体配置清单

依据制造业高可用架构设计, 以及业务需要, 部署模型倡议配置如下:

• 负载平衡服务器(即 NGINX + Keepalived): 2 台, 操作系统 Linux. 配置倡议如下:

• 软件运行配置环境:

4.1 NGINX 装置及配置

4.1.1 分区及目录

倡议至多分为以下 3 个区:

4.1.2 程序及依赖版本

4.1.3 NGINX 程序标准

• nginx 程序目录：/etc/nginx
• 执行程序门路：/usr/sbin/nginx
• 主配置文件门路：/etc/nginx/conf/nginx.conf
• 各个利用零碎转发配置文件目录：/etc/nginx/conf.d/
• 日志目录：/var/log/nginx
• 各个利用零碎动态文件目录：/usr/share/nginx/html

4.1.4 零碎级别配置优化

 留神:

须要 root 用户执行.

1. 装置组件: logrotate
2. 批改连接数:

vi /etc/security/limits.conf
# vi 编辑
*               soft    nofile          65535
*               hard    nofile          65535

3. 批改零碎内核配置:

vi /etc/sysctl.conf
# vi 编辑

# NGINX Tuning Performance
fs.file-max = 65535

vm.zone_reclaim_mode = 0

net.core.somaxconn = 2048

net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_mtu_probing = 1

# 失效
sysctl -p

4.1.5 配置 NGINX repo

留神:

本节命令能够依据具体情况, 在公司外部 repo 仓库机器上进行操作.

其余机器只须要配置外部 repo 地址即可.

键入以下 zypper 命令以增加 SLES 的 zypper 存储库

$ sudo zypper addrepo -G -t yum -c 'http://nginx.org/packages/sles/12' nginx

接下来，您必须验证数字签名以放弃下载包的完整性和起源。应用 wget 命令获取 nginx 签名密钥：

$ wget http://nginx.org/keys/nginx_signing.key

示例输入:

--2020-01-09 23:48:48--  http://nginx.org/keys/nginx_signing.key
Resolving nginx.org (nginx.org)... 206.251.255.63, 95.211.80.227, 2001:1af8:4060:a004:21::e3, ...
Connecting to nginx.org (nginx.org)|206.251.255.63|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1561 (1.5K) 
Saving to:‘nginx_signing.key’100%[==================================================>] 1,561       --.-K/s   in 0s      
 
2020-01-09 23:48:49 (117 MB/s) -‘nginx_signing.key’saved [1561/1561]

应用 rpm 命令将密钥导入 rpm：

$ sudo rpm --import nginx_signing.key

4.1.6 SUSE 上装置 NGINX

键入以下 zypper 命令：

$ sudo zypper install nginx=1.16.1

4.1.7 可选: 配置防火墙

留神:

如果机房流量入口有其余专用防火墙, 则能够敞开 nginx 服务器上的防火墙, 且不须要执行此步骤.

首先创立 Nginx 特定服务的配置文件，应用 vi 命令等文本编辑器关上端口 80:

$ sudo vi /etc/sysconfig/SuSEfirewall2.d/services/nginx

增加以下配置：

## Name: Nginx web server
## Description: Open ports for Nginx Server
 
# space separated list of allowed TCP ports
TCP="http"

(如果不须要 HTTPS 反对，则只须要容许 TCP 端口号 80 上的通信。)保留并退出 VI/VIM 文本编辑器。当初，只需运行以下命令关上端口 80：

$ sudo yast firewall

必须应用 TAB 和箭头键在 YaST 中跳转。在 YaST 中，跳转到容许的服务，而后按 Enter 键：

应用 TAB 跳转到“Allowed Services”，而后按向下箭头键抉择 Nginx web server，而后按回车键。必须按 Alt-A 来将 Nginx 服务器增加到防火墙：

按 Alt-N 和 Alt-F 保留并实现 SLES 上的防火墙设置。返回 shell 提示符后，列出 sle 上的所有 iptables 规定：

$ sudo iptables -S

示例输入:

-A input_ext -p tcp -m limit --limit 3/min -m tcp --dport 80 --tcp-flags FIN,SYN,RST,ACK SYN -j LOG --log-prefix "SFW2-INext-ACC-TCP" --log-tcp-options --log-ip-options
-A input_ext -p tcp -m tcp --dport 80 -j ACCEPT

应用 sudo 命令和 grep 命令的组合来确定端口 80 是否关上：

sudo sh -c 'iptables -L -n -v | grep :80'

4.1.8 启动 NGINX Server

键入以下 systemctl 命令以在系统启动时启用 Nginx：(开机自启)

$ sudo systemctl enable nginx

启动 Nginx web 服务器：

$ sudo systemctl start nginx

验证:

$ systemctl status nginx

要判断 80 端口是否监听, 运行以下 netstat 命令或 ss 命令:

$ sudo netstat -tulpn | grep :80
$ sudo ss -tulpn | grep :80

4.1.9 NGINX 根底操作

进行:

$ sudo systemctl stop nginx

启动:

$ sudo systemctl start nginx

重新启动服务：

$ sudo systemctl restart nginx

更改配置后从新加载 Ngnix：

$ sudo systemctl reload nginx

倡议:

配置更新后应用 reload 来从新加载 nginx.

拜访 nginx 页面:

假如 NGINX IP 为: 192.168.0.1. 应用浏览器或 curl 拜访:

http://serve_IP
http://your-domain
http://192.168.0.1

$ curl -I 192.168.122.43

示例输入:

HTTP/1.1 200 OK
Server: nginx/1.16.1
Date: Sat, 03 Feb 2020 19:18:53 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 17 Oct 2019 13:30:50 GMT
Connection: keep-alive
ETag: "59e6060a-264"
Accept-Ranges: bytes

4.1.10 查找无关 SLES 上 Nginx 配置文件的信息

当初 Nginx 曾经启动并运行了。接下来能够定制配置。

SLES 的服务器配置文件:

• /etc/nginx/: nginx 默认配置目录
• /etc/nginx/nginx.conf: nginx 主配置文件
• /etc/nginx/conf.d/default.conf: 默认 virtual host 的配置

批改主配置:

$ sudo vi /etc/nginx/nginx.conf

4.1.11 NGINX 日志

• /var/log/nginx/access.log: 拜访日志
• /var/log/nginx/error.log: 谬误日志

4.1.12 nginx.conf

主配置文件具体阐明如下:

#### 全局块 开始 #####
# 配置容许运行 Nginx 服务器的用户和用户组
#user  nginx nginx;
# 配置容许 Nginx 过程生成的 worker process 数
worker_processes  4;
#worker_cpu_affinity 0001 0010 0100 1000;

# 配置 Nginx 服务器运行时的谬误日志文件寄存门路和名称
#error_log  logs/error.log;
error_log  logs/error.log  info;

# 配置 Nginx 服务器运行时的 pid 文件寄存门路和名称
pid        logs/nginx.pid;
#### 全局块 完结 #####


#### events 块 开始 ####
events {
    # 配置事件驱动模型
    use epoll;
    accept_mutex off;
    multi_accept off;
    worker_connections  65535;    
}
#### events 块 完结 ####


#### http 块 开始 ####
http {
    # 定义 MIME-Type
    include       mime.types;
    default_type  application/octet-stream;
    
    # 配置申请解决日志的格局
    log_format  main  '$remote_addr - $remote_user [$time_local]"$request"''$status $body_bytes_sent $request_time $upstream_response_time "$http_referer" ''"$http_user_agent""$http_x_forwarded_for" "$host"';

    access_log  logs/access.log  main;

    # 配置容许应用 sendfile 形式传输
    sendfile        on;
    #tcp_nopush     on;
    
    # 配置连贯超时工夫
    #keepalive_timeout  0;
    keepalive_timeout  65;
    
    # nginx 容许的客户端申请头部的缓冲区大小
    client_header_buffer_size 4k;

    # gzip conf
    gzip  on;
    gzip_min_length 1024;
    gzip_buffers 32 4k;
    gzip_http_version 1.1;
    gzip_comp_level 6;
    gzip_types text/plain application/xml image/x-icon image/svg+xml image/png text/css image/jpeg image/gif application/x-javascript application/javascript application/json;
    gzip_vary on;
    gzip_disable "MSIE [1-6]\.";
    
    # security
    port_in_redirect off;
    server_tokens off;
    
    # proxy buffer 
    proxy_buffers 8 4k;
    proxy_buffer_size 4k;
    proxy_temp_file_write_size 4k;
    proxy_temp_path proxy_temp;
    
    # proxy cache
    # proxy_cache_path cache/ keys_zone=cache_all:10m;

    
    #### server 块 开始 ####
    ## 配置虚拟主机 localhost
    server {
        listen       80 reuseport;
        server_name  localhost;

        #charset koi8-r;

        access_log  logs/host.access.log  main;

        location / {
           root   html;
            index  index.html index.htm;
        }

        error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {root   html;}

    }
    #### server 块 完结 ####
    

    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}
    
    # virtual hosts
    include conf.d/default.conf;

}
#### http 块 完结 ####

倡议:

为了保障主配置文件的洁净. 倡议通过 include conf.d/default.conf; 相似这样的形式来引入其余 virtual hosts 配置.

4.1.13 日志转储

1. sudo vi /etc/logrotate.d/nginx

2. 编辑内容:

   /var/log/nginx/*.log {
       daily
       rotate 90  # 保留 90 天, 按需调整
       create
       dateext
       #compress  # 是否启用压缩, 按需调整
       #minsize 1M
       #create 0644 nginx nginx  # nginx 日志所属用户和组, 按需调整
       # copytruncate   用于还在关上中的日志文件，把以后日志备份并截断；是先拷贝再清空的形式，拷贝和清空之间有一个时间差，可能会失落局部日志数据。# delaycompress 和 compress 一起应用时，转储的日志文件到下一次转储时才压缩
       missingok
       ifempty # default
       nomail
       #noolddir # default
       sharedscripts   # 运行 postrotate 脚本，作用是在所有日志都轮转后对立执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
       postrotate  # 在 logrotate 转储之后须要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
           if [-f /var/log/nginx/nginx.pid]; then
               kill -USR1 `cat /var/log/nginx/nginx.pid`
           fi
       endscript
   }

3. 强制运行一次来测试:logrotate -f -v /etc/logrotate.d/nginx(对应目录只能 user 有 w 权限, 否则会报错)
4. 配置好即可, logrotate 会主动读取 /etc/logrotate.d 的配置并主动执行.

📓 备注:

cron.daily 会在 3:22+(5,45) 这个时间段执行

4.2 NGINX + Keepalived 配置

假设:

假如相干 IP 如下:

1. VIP: 192.168.0.100
2. NGINX – 主 IP: 192.168.0.1
3. NGINX – 从 IP: 192.168.0.2
4. NGINX – 主从的 IP 对应的网卡为 eth0

4.2.1 Keepalived 装置配置

$ sudo zypper install keepalived=2.0.10

4.2.2 Keepalived 配置

Keepalived 启动默认读取配置文件门路 /etc/keepalived/keepalived.conf , 增加配置文件:

sudo vi /etc/keepalived/keepalived.conf

NGINX – 主 机器配置如下:

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_pid.sh" # 检测 nginx 状态的脚本门路
    interval 2
    weight -20 
    fall 3
}
vrrp_instance VI_1 {
    state MASTER # 从机为 BACKUP
    interface eth0  # 具体的网卡接口看状况进行填写
    virtual_router_id 51 
    priority 110 # 备机权值为 100
    advert_int 1
    authentication {
    auth_type PASS
    auth_pass 123456
    }
    track_script {chk_nginx}
    virtual_ipaddress {192.168.0.100/24 brd 192.168.0.255 dev eth0 label eth0:vip  # 依据理论状况进行批改}
}

配置阐明如下:

1. weight -20: keepalived 配置里 priority 110 是初始权重；主的初始设置了 110，备的设置了 100；如果检测失败，权重 -20. 主从切换.
2. virtual_router_id 51 本人定义的虚构路由的 id。vrrp_instance VI_1 块中 virtual_router_id 指令的值 51 是一个示例值; 依据须要扭转它，使其在您的环境中举世无双。
3. 增加

NGINX – 从 机器配置如下:

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_pid.sh" # 检测 nginx 状态的脚本门路
    interval 2
    weight -20
}
vrrp_instance VI_1 {
    state BACKUP # 辅机为 BACKUP
    interface eth0  # 具体的网卡接口看状况进行填写
    virtual_router_id 51
    priority 100 # 备机权值为 100
    advert_int 1
    authentication {
    auth_type PASS
    auth_pass 123456
    }
    track_script {chk_nginx}
    virtual_ipaddress {192.168.0.100/24 brd 192.168.0.255 dev eth0 label eth0:vip  # 依据理论状况进行批改}
}

4.2.3 配置检测脚本

备注:

应用 root 用户

配置检测脚本: /etc/keepalived/nginx_pid.sh

#!/bin/bash
A=`ps -C nginx --no-header|wc -l`
if [$A -eq 0]
then
   systemctl start nginx
   exit 1
else 
   exit 0
fi

赋予执行权限: chmod 750 /etc/keepalived/nginx_pid.sh

4.2.4 启动 Keepalived

键入以下 systemctl 命令以在系统启动时启用 keepalived：(开机自启)

$ sudo systemctl enable keepalived

启动 Nginx web 服务器：

$ sudo systemctl start keepalived

验证:

$ systemctl status keepalived

4.2.4 显示节点状态

要查看以后哪个节点是给定 VIP 的主节点，请在定义 VRRP 实例的接口上运行命令 ip addr show（在以下命令中，eth0节点 suse12-1 和上的接口suse12-2）：

suse12-1 # ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state
     UP qlen 1000
    link/ether 52:54:00:33:a5:a5 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.1/24 brd 192.168.0.255 scope global dynamic eth0
       valid_lft 3071sec preferred_lft 3071sec
    inet 192.168.0.100/32 scope global eth0
       valid_lft forever preferred_lft forever

suse12-2 # ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state
     UP qlen 1000
    link/ether 52:54:00:33:a5:87 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.2/24 brd 192.168.0.255 scope global eth0
       valid_lft forever preferred_lft forever

在此输入中，第二行 inet 示意 suse12-1 是主节点, 已为其调配了已定义的 VIP(192.168.0.100）。inet 输入中的其余行显示主节点的理论 IP 地址（192.168.0.1）和备用 (或 从) 节点的 IP 地址（192.168.0.2）。

至此, nginx + keepalived 的 负载平衡层高可用 曾经配置实现.

4.3 NGINX -> 应用服务层 转发配置

假设:

假如利用零碎的相干信息如下:

1. 申请及业务协定为 HTTP 协定;
2. 利用零碎节点 1 IP 为: 172.30.0.1
3. 利用零碎节点 2 IP 为: 172.30.0.2
4. 业务零碎监听端口为: 8080

4.3.1 批改配置文件

以 mes 零碎高可用配置为例(协定为 HTTP 协定), 新增 /etc/nginx/conf.d/mes.conf:

# mes access

upstream mes{
   # ip_hash;  # 源地址会话放弃, 按需开启
   server 172.30.0.1:8080;
   server 172.30.0.2:8080;
}

server {
    listen       80;
    #server_name  mes.example.com 192.168.0.100;  # server_name 为对应的拜访域名, 按需开启

    #set max uploading file size to 20m
    client_max_body_size 20m;

    #charset koi8-r;
    
    # keepalive
    # 设置代理的 HTTP 协定版本（默认是 1.0 版本）proxy_http_version 1.1;    # 按需调整
    # 容许从新定义或追加字段到传递给代理服务器的申请头信息（默认是 close）proxy_set_header Connection "";
    
    proxy_set_header HOST $http_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
    
    access_log  logs/mes_access.log main buffer=16k flush=5m;
    error_log logs/mes_error.log;
    location / {
        #root   html;
        #index  index.html index.htm;
           proxy_pass http://mes;
        #proxy_redirect off;
        # proxy_cache cache_all;
    }

    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    #error_page   500 502 503 504  /50x.html;
    #location = /50x.html {
    #    root   html;
    #}
}

4.3.2 主配置文件 include

在 http 块新增如下内容

include conf.d/mes.conf;

4.3.2 从新加载 nginx

更改配置后从新加载 Ngnix 使配置失效：

sudo systemctl reload nginx

4.3.3 验证

通过 VIP 进行拜访, 查看对应利用系统日志, 察看是否 2 个节点都接管到申请.

五 变更管制流程

严格遵循 制造业本公司的变更管制标准. 进行相干的变更管制和审批流程.

一个新的利用须要上线或者变更，通常波及以下步骤：

能够随时施行的变更:

1. 零碎项目组需至多提供端口、门路、后端地址(域名可选);
2. 在 /etc/nginx/conf.d 中减少一个配置文件;
3. 在 /etc/nginx/nginx.conf 中减少一个 include，指向新增的配置文件;

须要在变更窗口进行的变更:

1. 从新载入 (sudo systemctl reload nginx) 配置.
2. 告诉用户, 拜访的 Server IP 由: 原应用服务器 IP 调整为 NGINX 的 VIP.
3. 批改客户端和浏览器配置, 拜访的 Server IP 由: 原应用服务器 IP 调整为 NGINX 的 VIP.
4. 验证变更是否胜利.

5.1 回退步骤

回退较为简单, 步骤如下:

1. 告诉用户, 拜访的 Server IP 调整为: 原应用服务器 IP.
2. 批改客户端和浏览器配置, 拜访的 Server IP 调整为: 原应用服务器 IP.
3. 回退实现
4. 验证回退是否胜利.

参考文件

三人行, 必有我师; 常识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.