关于nginx:Nginx-流控搞不好背锅跑路少不了

链接：https://www.cnblogs.com/zjfja...
作者：雪山上的蒲公

前几天，以前一个老同事在微信上和我吐槽，一次周未劳动，忽然收到公司服务器告警，有一台服务器挂掉了，导致影响一部分公司业务的运行，预先查看发现原来是前端Nginx流控配置的不够迷信，不得不背上一锅，影响了这个月的KPI考核和当年中的加薪指标。

可见这Nginx流控的配置还是很重要，所以，本篇文章将会介绍Nginx的流量限度的基础知识和高级配置，”流量限度”在Nginx Plus中也实用。

流量限度(rate-limiting)，是Nginx中一个十分实用，却常常被谬误了解和谬误配置的性能。咱们能够用来限度用户在给定工夫内HTTP申请的数量。申请，能够是一个简略网站首页的GET申请，也能够是登录表单的POST申请。

流量限度能够用作平安目标，比方能够减慢暴力明码破解的速率。通过将传入申请的速率限度为实在用户的典型值，并标识指标URL地址(通过日志)，还能够用来抵挡DDOS攻打。更常见的状况，该性能被用来爱护上游应用服务器不被同时太多用户申请所压垮。

Nginx如何限流

Nginx的”流量限度”应用漏桶算法(leaky bucket algorithm)，该算法在通信和分组替换计算机网络中宽泛应用，用以解决带宽无限时的突发状况。就好比，一个桶口在倒水，桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率，桶外面的水将会溢出；同样，在申请解决方面，水代表来自客户端的申请，水桶代表依据”先进先出调度算法”(FIFO)期待被解决的申请队列，桶底漏出的水代表来到缓冲区被服务器解决的申请，桶口溢出的水代表被抛弃和不被解决的申请。

配置根本的限流

“流量限度”配置两个次要的指令，limit_req_zone和limit_req，如下所示：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;server {   location /login/ {     limit_req zone=mylimit;  proxy_pass http://my_upstream;  }}

limit_req_zone指令定义了流量限度相干的参数，而limit_req指令在呈现的上下文中启用流量限度(示例中，对于”/login/”的所有申请)。limit_req_zone指令通常在HTTP块中定义，使其可在多个上下文中应用，它须要以下三个参数：

• Key - 定义利用限度的申请个性。示例中的Nginx变量remote_addr，占用更少的空间)
• Zone - 定义用于存储每个IP地址状态以及被限度申请URL拜访频率的共享内存区域。保留在内存共享区域的信息，意味着能够在Nginx的worker过程之间共享。定义分为两个局部：通过zone=keyword标识区域的名字，以及冒号前面跟区域大小。16000个IP地址的状态信息，大概须要1MB，所以示例中区域能够存储160000个IP地址。
• Rate - 定义最大申请速率。在示例中，速率不能超过每秒10个申请。Nginx实际上以毫秒的粒度来跟踪申请，所以速率限度相当于每100毫秒1个申请。因为不容许”突发状况”(见下一章节)，这意味着在前一个申请100毫秒内达到的申请将被回绝。

当Nginx须要增加新条目时存储空间有余，将会删除旧条目。如果开释的空间仍不够包容新记录，Nginx将会返回 503状态码(Service Temporarily Unavailable)。另外，为了避免内存被耗尽，Nginx每次创立新条目时，最多删除两条60秒内未应用的条目。

limit_req_zone指令设置流量限度和共享内存区域的参数，但实际上并不限度申请速率。所以须要通过增加limit_req指令，将流量限度利用在特定的location或者server块。在下面示例中，咱们对/login/申请进行流量限度。

当初每个IP地址被限度为每秒只能申请10次/login/，更精确地说，在前一个申请的100毫秒内不能申请该URL。

解决突发

如果咱们在100毫秒内接管到2个申请，怎么办？对于第二个申请，Nginx将给客户端返回状态码503。这可能并不是咱们想要的后果，因为利用实质上趋向于突发性。相同地，咱们心愿缓冲任何超额的申请，而后及时地解决它们。咱们更新下配置，在limit_req中应用burst参数：

location /login/ {   limit_req zone=mylimit burst=20;    proxy_pass http://my_upstream;}

burst参数定义了超出zone指定速率的状况下(示例中的mylimit区域，速率限度在每秒10个申请，或每100毫秒一个申请)，客户端还能发动多少申请。上一个申请100毫秒内达到的申请将会被放入队列，咱们将队列大小设置为20。

这意味着，如果从一个给定IP地址发送21个申请，Nginx会立刻将第一个申请发送到上游服务器群，而后将余下20个申请放在队列中。而后每100毫秒转发一个排队的申请，只有当传入申请使队列中排队的申请数超过20时，Nginx才会向客户端返回503。

无提早的排队

配置burst参数将会使通信更晦涩，然而可能会不太实用，因为该配置会使站点看起来很慢。在下面的示例中，队列中的第20个包须要期待2秒能力被转发，此时返回给客户端的响应可能不再有用。要解决这个状况，能够在burst参数后增加nodelay参数：

location /login/ {   limit_req zone=mylimit burst=20 nodelay;   proxy_pass http://my_upstream;}

应用nodelay参数，Nginx仍将依据burst参数调配队列中的地位，并利用已配置的速率限度，而不是清理队列中期待转发的申请。相同地，当一个申请达到“太早”时，只有在队列中能调配地位，Nginx将立刻转发这个申请。将队列中的该地位标记为”taken”(占据)，并且不会被开释以供另一个申请应用，直到一段时间后才会被开释(在这个示例中是，100毫秒后)。

假如如前所述，队列中有20个空位，从给定的IP地址收回的21个申请同时达到。Nginx会立刻转发这个21个申请，并且标记队列中占据的20个地位，而后每100毫秒开释一个地位。如果是25个申请同时达到，Nginx将会立刻转发其中的21个申请，标记队列中占据的20个地位，并且返回503状态码来回绝剩下的4个申请。

当初假如，第一组申请被转发后101毫秒，另20个申请同时达到。队列中只会有一个地位被开释，所以Nginx转发一个申请并返回503状态码来回绝其余19个申请。如果在20个新申请达到之前曾经过来了501毫秒，5个地位被开释，所以Nginx立刻转发5个申请并回绝另外15个。

成果相当于每秒10个申请的“流量限度”。如果心愿不限度两个申请间容许距离的状况下施行“流量限度”，nodelay参数是很实用的。

留神：对于大部分部署，咱们倡议应用burst和nodelay参数来配置limit_req指令。

高级配置示例

通过将根本的“流量限度”与其余Nginx性能配合应用，咱们能够实现更细粒度的流量限度。

白名单

上面这个例子将展现，如何对任何不在白名单内的申请强制执行“流量限度”：

geo $limit {  default        1;  10.0.0.0/8       0;   192.168.0.0/64     0;}map $limit $limit_key {    0 "";   1 $binary_remote_addr;}limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;server { location / {      limit_req zone=req_zone burst=10 nodelay;     # ...    }}

这个例子同时应用了geo和map指令。geo块将给在白名单中的IP地址对应的$limit变量调配一个值0，给其它不在白名单中的调配一个值1。而后咱们应用一个映射将这些值转为key，如下：

• 如果变量的值是，limit_key变量将被赋值为空字符串
• 如果变量的值是，limit_key变量将被赋值为客户端二进制模式的IP地址 两个指令配合应用，白名单内IP地址的$limit_key变量被赋值为空字符串，不在白名单内的被赋值为客户端的IP地址。当limit_req_zone后的第一个参数是空字符串时，不会利用“流量限度”，所以白名单内的IP地址(10.0.0.0/8和192.168.0.0/24 网段内)不会被限度。其它所有IP地址都会被限度到每秒5个申请。

limit_req指令将限度利用到/的location块，容许在配置的限度上最多超过10个数据包的突发，并且不会提早转发。

location蕴含多limit_req指令

咱们能够在一个location块中配置多个limit_req指令。合乎给定申请的所有限度都被利用时，意味着将采纳最严格的那个限度。例如，多个指令都制订了提早，将采纳最长的那个提早。同样，申请受局部指令影响被回绝，即便其余指令容许通过也杯水车薪。

扩大后面将“流量限度”利用到白名单内IP地址的例子：

http {    # ...    limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;   limit_req_zone $binary_remote_addr zone=req_zone_wl:10m rate=15r/s;  server {     # ...      location / {      limit_req zone=req_zone burst=10 nodelay;          limit_req zone=req_zone_wl burst=20 nodelay;         # ...      }    }}

白名单内的IP地址不会匹配到第一个“流量限度”，而是会匹配到第二个req_zone_wl，并且被限度到每秒15个申请。不在白名单内的IP地址两个限度能匹配到，所以利用限度更强的那个：每秒5个申请。

配置相干性能

日志记录 默认状况下，Nginx会在日志中记录因为流量限度而提早或抛弃的申请，如下所示：

2015/06/13 04:20:00 [error] 120315#0: *32086 limiting requests, excess: 1.000 by zone "mylimit", client: 192.168.1.2, server: nginx.com, <br>request: "GET / HTTP/1.0", host: "nginx.com"

日志条目中蕴含的字段：

• limiting requests - 表明日志条目记录的是被“流量限度”申请
• excess - 每毫秒超过对应“流量限度”配置的申请数量
• zone - 定义施行“流量限度”的区域
• client - 发动申请的客户端IP地址
• server - 服务器IP地址或主机名
• request - 客户端发动的理论HTTP申请
• host - HTTP报头中host的值

默认状况下，Nginx以error级别来记录被回绝的申请，如下面示例中的[error]所示(Ngin以较低级别记录延时申请，个别是info级别)。如要更改Nginx的日志记录级别，须要应用limit_req_log_level指令。这里，咱们将被拒绝请求的日志记录级别设置为warn：

location /login/ {   limit_req zone=mylimit burst=20 nodelay;   limit_req_log_level warn; proxy_pass http://my_upstream;}

发送到客户端的错误代码

个别状况下，客户端超过配置的流量限度时，Nginx响应状态码为503(Service Temporarily Unavailable)。能够应用limit_req_status指令来设置为其它状态码(例如上面的444状态码):

location /login/ {   limit_req zone=mylimit burst=20 nodelay;  limit_req_status 444;}

指定location回绝所有申请

如果你想回绝某个指定URL地址的所有申请，而不是仅仅对其限速，只须要在location块中配置deny all指令：

location /foo.php { deny all;}

总结

前文曾经涵盖了Nginx和Nginx Plus提供的“流量限度”的很多性能，包含为HTTP申请的不同loation设置申请速率，给“流量限度”配置burst和nodelay参数。还涵盖了针对客户端IP地址的白名单和黑名单利用不同“流量限度”的高级配置，论述了如何去日志记录被回绝和延时的申请。