共计 3810 个字符，预计需要花费 10 分钟才能阅读完成。
转载请标明出处：https://www.fangzhipeng.com 本文出自方志朋的博客
在高并发的系统中，往往需要在系统中做限流，一方面是为了防止大量的请求使服务器过载，导致服务不可用，另一方面是为了防止网络攻击。
常见的限流方式，比如 Hystrix 适用线程池隔离，超过线程池的负载，走熔断的逻辑。在一般应用服务器中，比如 tomcat 容器也是通过限制它的线程数来控制并发的；也有通过时间窗口的平均速度来控制流量。常见的限流纬度有比如通过 Ip 来限流、通过 uri 来限流、通过用户访问频次来限流。
一般限流都是在网关这一层做，比如 Nginx、Openresty、kong、zuul、Spring Cloud Gateway 等；也可以在应用层通过 Aop 这种方式去做限流。
本文详细探讨在 Spring Cloud Gateway 中如何实现限流。
常见的限流算法
计数器算法
计数器算法采用计数器实现限流有点简单粗暴，一般我们会限制一秒钟的能够通过的请求数，比如限流 qps 为 100，算法的实现思路就是从第一个请求进来开始计时，在接下去的 1s 内，每来一个请求，就把计数加 1，如果累加的数字达到了 100，那么后续的请求就会被全部拒绝。等到 1s 结束后，把计数恢复成 0，重新开始计数。具体的实现可以是这样的：对于每次服务调用，可以通过 AtomicLong#incrementAndGet() 方法来给计数器加 1 并返回最新值，通过这个最新值和阈值进行比较。这种实现方式，相信大家都知道有一个弊端：如果我在单位时间 1s 内的前 10ms，已经通过了 100 个请求，那后面的 990ms，只能眼巴巴的把请求拒绝，我们把这种现象称为“突刺现象”
漏桶算法
漏桶算法为了消除 ” 突刺现象 ”，可以采用漏桶算法实现限流，漏桶算法这个名字就很形象，算法内部有一个容器，类似生活用到的漏斗，当请求进来时，相当于水倒入漏斗，然后从下端小口慢慢匀速的流出。不管上面流量多大，下面流出的速度始终保持不变。不管服务调用方多么不稳定，通过漏桶算法进行限流，每 10 毫秒处理一次请求。因为处理的速度是固定的，请求进来的速度是未知的，可能突然进来很多请求，没来得及处理的请求就先放在桶里，既然是个桶，肯定是有容量上限，如果桶满了，那么新进来的请求就丢弃。
在算法实现方面，可以准备一个队列，用来保存请求，另外通过一个线程池（ScheduledExecutorService）来定期从队列中获取请求并执行，可以一次性获取多个并发执行。
这种算法，在使用过后也存在弊端：无法应对短时间的突发流量。
令牌桶算法
从某种意义上讲，令牌桶算法是对漏桶算法的一种改进，桶算法能够限制请求调用的速率，而令牌桶算法能够在限制调用的平均速率的同时还允许一定程度的突发调用。在令牌桶算法中，存在一个桶，用来存放固定数量的令牌。算法中存在一种机制，以一定的速率往桶中放令牌。每次请求调用需要先获取令牌，只有拿到令牌，才有机会继续执行，否则选择选择等待可用的令牌、或者直接拒绝。放令牌这个动作是持续不断的进行，如果桶中令牌数达到上限，就丢弃令牌，所以就存在这种情况，桶中一直有大量的可用令牌，这时进来的请求就可以直接拿到令牌执行，比如设置 qps 为 100，那么限流器初始化完成一秒后，桶中就已经有 100 个令牌了，这时服务还没完全启动好，等启动完成对外提供服务时，该限流器可以抵挡瞬时的 100 个请求。所以，只有桶中没有令牌时，请求才会进行等待，最后相当于以一定的速率执行。
实现思路：可以准备一个队列，用来保存令牌，另外通过一个线程池定期生成令牌放到队列中，每来一个请求，就从队列中获取一个令牌，并继续执行。
Spring Cloud Gateway 限流
在 Spring Cloud Gateway 中，有 Filter 过滤器，因此可以在“pre”类型的 Filter 中自行实现上述三种过滤器。但是限流作为网关最基本的功能，Spring Cloud Gateway 官方就提供了 RequestRateLimiterGatewayFilterFactory 这个类，适用 Redis 和 lua 脚本实现了令牌桶的方式。具体实现逻辑在 RequestRateLimiterGatewayFilterFactory 类中，lua 脚本在如下图所示的文件夹中：
具体源码不打算在这里讲述，读者可以自行查看，代码量较少，先以案例的形式来讲解如何在 Spring Cloud Gateway 中使用内置的限流过滤器工厂来实现限流。
首先在工程的 pom 文件中引入 gateway 的起步依赖和 redis 的 reactive 依赖，代码如下：
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-gateway</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifatId>spring-boot-starter-data-redis-reactive</artifactId>
</dependency>
在配置文件中做以下的配置：
server:
port: 8081
spring:
cloud:
gateway:
routes:
– id: limit_route
uri: http://httpbin.org:80/get
predicates:
– After=2017-01-20T17:42:47.789-07:00[America/Denver]
filters:
– name: RequestRateLimiter
args:
key-resolver: ‘#{@hostAddrKeyResolver}’
redis-rate-limiter.replenishRate: 1
redis-rate-limiter.burstCapacity: 3
application:
name: gateway-limiter
redis:
host: localhost
port: 6379
database: 0
在上面的配置文件，指定程序的端口为 8081，配置了 redis 的信息，并配置了 RequestRateLimiter 的限流过滤器，该过滤器需要配置三个参数：
burstCapacity，令牌桶总容量。
replenishRate，令牌桶每秒填充平均速率。
key-resolver，用于限流的键的解析器的 Bean 对象的名字。它使用 SpEL 表达式根据 #{@beanName} 从 Spring 容器中获取 Bean 对象。
KeyResolver 需要实现 resolve 方法，比如根据 Hostname 进行限流，则需要用 hostAddress 去判断。实现完 KeyResolver 之后，需要将这个类的 Bean 注册到 Ioc 容器中。
public class HostAddrKeyResolver implements KeyResolver {
@Override
public Mono<String> resolve(ServerWebExchange exchange) {
return Mono.just(exchange.getRequest().getRemoteAddress().getAddress().getHostAddress());
}
}
@Bean
public HostAddrKeyResolver hostAddrKeyResolver() {
return new HostAddrKeyResolver();
}
可以根据 uri 去限流，这时 KeyResolver 代码如下：
public class UriKeyResolver implements KeyResolver {
@Override
public Mono<String> resolve(ServerWebExchange exchange) {
return Mono.just(exchange.getRequest().getURI().getPath());
}
}
@Bean
public UriKeyResolver uriKeyResolver() {
return new UriKeyResolver();
}
也可以以用户的维度去限流：
@Bean
KeyResolver userKeyResolver() {
return exchange -> Mono.just(exchange.getRequest().getQueryParams().getFirst(“user”));
}
用 jmeter 进行压测，配置 10thread 去循环请求 lcoalhost:8081，循环间隔 1s。从压测的结果上看到有部分请求通过，由部分请求失败。通过 redis 客户端去查看 redis 中存在的 key。如下：
可见，RequestRateLimiter 是使用 Redis 来进行限流的，并在 redis 中存储了 2 个 key。关注这两个 key 含义可以看 lua 源代码。
源码下载
https://github.com/forezp/Spr…
参考资料
http://cloud.spring.io/spring…
https://windmt.com/2018/05/09…
http://www.spring4all.com/art…
扫一扫，支持下作者吧:
