乐趣区

关于nginx:Nginx-流控搞不好背锅跑路少不了

jiezi


链接：https://www.cnblogs.com/zjfja…
作者：雪山上的蒲公

前几天，以前一个老同事在微信上和我吐槽，一次周未劳动，忽然收到公司服务器告警，有一台服务器挂掉了，导致影响一部分公司业务的运行，预先查看发现原来是前端 Nginx 流控配置的不够迷信，不得不背上一锅，影响了这个月的 KPI 考核和当年中的加薪指标。

可见这 Nginx 流控的配置还是很重要，所以，本篇文章将会介绍 Nginx 的流量限度的基础知识和高级配置，”流量限度”在 Nginx Plus 中也实用。

流量限度(rate-limiting)，是 Nginx 中一个十分实用，却常常被谬误了解和谬误配置的性能。咱们能够用来限度用户在给定工夫内 HTTP 申请的数量。申请，能够是一个简略网站首页的 GET 申请，也能够是登录表单的 POST 申请。

流量限度能够用作平安目标，比方能够减慢暴力明码破解的速率。通过将传入申请的速率限度为实在用户的典型值，并标识指标 URL 地址(通过日志)，还能够用来抵挡 DDOS 攻打。更常见的状况，该性能被用来爱护上游应用服务器不被同时太多用户申请所压垮。

Nginx 如何限流

Nginx 的”流量限度”应用漏桶算法 (leaky bucket algorithm)，该算法在通信和分组替换计算机网络中宽泛应用，用以解决带宽无限时的突发状况。就好比，一个桶口在倒水，桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率，桶外面的水将会溢出；同样，在申请解决方面，水代表来自客户端的申请，水桶代表依据”先进先出调度算法”(FIFO) 期待被解决的申请队列，桶底漏出的水代表来到缓冲区被服务器解决的申请，桶口溢出的水代表被抛弃和不被解决的申请。

配置根本的限流

“流量限度”配置两个次要的指令，limit_req_zone 和 limit_req，如下所示：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
server {   
location /login/ {     
limit_req zone=mylimit;  
proxy_pass http://my_upstream;  
}
}

limit_req_zone 指令定义了流量限度相干的参数，而 limit_req 指令在呈现的上下文中启用流量限度(示例中，对于”/login/”的所有申请)。limit_req_zone 指令通常在 HTTP 块中定义，使其可在多个上下文中应用，它须要以下三个参数：

  • Key – 定义利用限度的申请个性。示例中的 Nginx 变量 remote_addr，占用更少的空间)
  • Zone – 定义用于存储每个 IP 地址状态以及被限度申请 URL 拜访频率的共享内存区域。保留在内存共享区域的信息，意味着能够在 Nginx 的 worker 过程之间共享。定义分为两个局部：通过 zone=keyword 标识区域的名字，以及冒号前面跟区域大小。16000 个 IP 地址的状态信息，大概须要 1MB，所以示例中区域能够存储 160000 个 IP 地址。
  • Rate – 定义最大申请速率。在示例中，速率不能超过每秒 10 个申请。Nginx 实际上以毫秒的粒度来跟踪申请，所以速率限度相当于每 100 毫秒 1 个申请。因为不容许”突发状况”(见下一章节)，这意味着在前一个申请 100 毫秒内达到的申请将被回绝。

当 Nginx 须要增加新条目时存储空间有余，将会删除旧条目。如果开释的空间仍不够包容新记录，Nginx 将会返回 503 状态码(Service Temporarily Unavailable)。另外，为了避免内存被耗尽，Nginx 每次创立新条目时，最多删除两条 60 秒内未应用的条目。

limit_req_zone 指令设置流量限度和共享内存区域的参数，但实际上并不限度申请速率。所以须要通过增加 limit_req 指令，将流量限度利用在特定的 location 或者 server 块。在下面示例中，咱们对 /login/ 申请进行流量限度。

当初每个 IP 地址被限度为每秒只能申请 10 次 /login/，更精确地说，在前一个申请的 100 毫秒内不能申请该 URL。

解决突发

如果咱们在 100 毫秒内接管到 2 个申请，怎么办？对于第二个申请，Nginx 将给客户端返回状态码 503。这可能并不是咱们想要的后果，因为利用实质上趋向于突发性。相同地，咱们心愿缓冲任何超额的申请，而后及时地解决它们。咱们更新下配置，在 limit_req 中应用 burst 参数：

location /login/ {   
limit_req zone=mylimit burst=20;    
proxy_pass http://my_upstream;
}

burst 参数定义了超出 zone 指定速率的状况下(示例中的 mylimit 区域，速率限度在每秒 10 个申请，或每 100 毫秒一个申请)，客户端还能发动多少申请。上一个申请 100 毫秒内达到的申请将会被放入队列，咱们将队列大小设置为 20。

这意味着，如果从一个给定 IP 地址发送 21 个申请，Nginx 会立刻将第一个申请发送到上游服务器群，而后将余下 20 个申请放在队列中。而后每 100 毫秒转发一个排队的申请，只有当传入申请使队列中排队的申请数超过 20 时，Nginx 才会向客户端返回 503。

无提早的排队

配置 burst 参数将会使通信更晦涩，然而可能会不太实用，因为该配置会使站点看起来很慢。在下面的示例中，队列中的第 20 个包须要期待 2 秒能力被转发，此时返回给客户端的响应可能不再有用。要解决这个状况，能够在 burst 参数后增加 nodelay 参数：

location /login/ {   
limit_req zone=mylimit burst=20 nodelay;   
proxy_pass http://my_upstream;
}

应用 nodelay 参数，Nginx 仍将依据 burst 参数调配队列中的地位，并利用已配置的速率限度，而不是清理队列中期待转发的申请。相同地，当一个申请达到“太早”时，只有在队列中能调配地位，Nginx 将立刻转发这个申请。将队列中的该地位标记为”taken”(占据)，并且不会被开释以供另一个申请应用，直到一段时间后才会被开释(在这个示例中是，100 毫秒后)。

假如如前所述，队列中有 20 个空位，从给定的 IP 地址收回的 21 个申请同时达到。Nginx 会立刻转发这个 21 个申请，并且标记队列中占据的 20 个地位，而后每 100 毫秒开释一个地位。如果是 25 个申请同时达到，Nginx 将会立刻转发其中的 21 个申请，标记队列中占据的 20 个地位，并且返回 503 状态码来回绝剩下的 4 个申请。

当初假如，第一组申请被转发后 101 毫秒，另 20 个申请同时达到。队列中只会有一个地位被开释，所以 Nginx 转发一个申请并返回 503 状态码来回绝其余 19 个申请。如果在 20 个新申请达到之前曾经过来了 501 毫秒，5 个地位被开释，所以 Nginx 立刻转发 5 个申请并回绝另外 15 个。

成果相当于每秒 10 个申请的“流量限度”。如果心愿不限度两个申请间容许距离的状况下施行“流量限度”，nodelay 参数是很实用的。

留神：对于大部分部署，咱们倡议应用 burst 和 nodelay 参数来配置 limit_req 指令。

高级配置示例

通过将根本的“流量限度”与其余 Nginx 性能配合应用，咱们能够实现更细粒度的流量限度。

白名单

上面这个例子将展现，如何对任何不在白名单内的申请强制执行“流量限度”：

geo $limit {  
default        1;  
10.0.0.0/8       0;   
192.168.0.0/64     0;
}
map $limit $limit_key {    0 "";   
1 $binary_remote_addr;
}
limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;
server { 
location / {      
limit_req zone=req_zone burst=10 nodelay;     
# ...    
}
}

这个例子同时应用了 geo 和 map 指令。geo 块将给在白名单中的 IP 地址对应的 $limit 变量调配一个值 0，给其它不在白名单中的调配一个值 1。而后咱们应用一个映射将这些值转为 key，如下：

  • 如果变量的值是，limit_key 变量将被赋值为空字符串
  • 如果变量的值是，limit_key 变量将被赋值为客户端二进制模式的 IP 地址 两个指令配合应用，白名单内 IP 地址的 $limit_key 变量被赋值为空字符串，不在白名单内的被赋值为客户端的 IP 地址。当 limit_req_zone 后的第一个参数是空字符串时，不会利用“流量限度”，所以白名单内的 IP 地址 (10.0.0.0/ 8 和 192.168.0.0/24 网段内) 不会被限度。其它所有 IP 地址都会被限度到每秒 5 个申请。

limit_req 指令将限度利用到 / 的 location 块，容许在配置的限度上最多超过 10 个数据包的突发，并且不会提早转发。

location 蕴含多 limit_req 指令

咱们能够在一个 location 块中配置多个 limit_req 指令。合乎给定申请的所有限度都被利用时，意味着将采纳最严格的那个限度。例如，多个指令都制订了提早，将采纳最长的那个提早。同样，申请受局部指令影响被回绝，即便其余指令容许通过也杯水车薪。

扩大后面将“流量限度”利用到白名单内 IP 地址的例子：

http {    
# ...    
limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;   
limit_req_zone $binary_remote_addr zone=req_zone_wl:10m rate=15r/s;  
server {     
# ...      
location / {      
limit_req zone=req_zone burst=10 nodelay;          
limit_req zone=req_zone_wl burst=20 nodelay;         
# ...      
}    
}
}

白名单内的 IP 地址不会匹配到第一个“流量限度”，而是会匹配到第二个 req_zone_wl，并且被限度到每秒 15 个申请。不在白名单内的 IP 地址两个限度能匹配到，所以利用限度更强的那个：每秒 5 个申请。

配置相干性能

日志记录 默认状况下，Nginx 会在日志中记录因为流量限度而提早或抛弃的申请，如下所示：

2015/06/13 04:20:00 [error] 120315#0: *32086 limiting requests, excess: 1.000 by zone "mylimit", client: 192.168.1.2, server: nginx.com, <br>request: "GET / HTTP/1.0", host: "nginx.com"

日志条目中蕴含的字段：

  • limiting requests – 表明日志条目记录的是被“流量限度”申请
  • excess – 每毫秒超过对应“流量限度”配置的申请数量
  • zone – 定义施行“流量限度”的区域
  • client – 发动申请的客户端 IP 地址
  • server – 服务器 IP 地址或主机名
  • request – 客户端发动的理论 HTTP 申请
  • host – HTTP 报头中 host 的值

默认状况下，Nginx 以 error 级别来记录被回绝的申请，如下面示例中的 [error] 所示(Ngin 以较低级别记录延时申请，个别是 info 级别)。如要更改 Nginx 的日志记录级别，须要应用 limit_req_log_level 指令。这里，咱们将被拒绝请求的日志记录级别设置为 warn：

location /login/ {   
limit_req zone=mylimit burst=20 nodelay;   
limit_req_log_level warn; 
proxy_pass http://my_upstream;
}

发送到客户端的错误代码

个别状况下，客户端超过配置的流量限度时，Nginx 响应状态码为 503(Service Temporarily Unavailable)。能够应用 limit_req_status 指令来设置为其它状态码(例如上面的 444 状态码):

location /login/ {   
limit_req zone=mylimit burst=20 nodelay;  
limit_req_status 444;
}

指定 location 回绝所有申请

如果你想回绝某个指定 URL 地址的所有申请，而不是仅仅对其限速，只须要在 location 块中配置 deny all 指令：

location /foo.php {deny all;}

总结

前文曾经涵盖了 Nginx 和 Nginx Plus 提供的“流量限度”的很多性能，包含为 HTTP 申请的不同 loation 设置申请速率，给“流量限度”配置 burst 和 nodelay 参数。还涵盖了针对客户端 IP 地址的白名单和黑名单利用不同“流量限度”的高级配置，论述了如何去日志记录被回绝和延时的申请。

退出移动版