SpringBoot如何使用RateLimiter通過AOP方式進行限流

Posted on by

使用RateLimiter通過AOP方式進行限流

1、引入依賴

<!-- guava 限流 -->
<dependency>
     <groupId>com.google.guava</groupId>
     <artifactId>guava</artifactId>
     <version>25.1-jre</version>
</dependency>

2、自定義註解

@Target({ElementType.PARAMETER, ElementType.METHOD})    
@Retention(RetentionPolicy.RUNTIME)    
@Documented    
public  @interface ServiceLimit { 
     String description()  default "";
}

3、AOP實現類

@Component
@Scope
@Aspect
public class LimitAspect {
    每秒隻發出5個令牌，此處是單進程服務的限流,內部采用令牌捅算法實現
    private static   RateLimiter rateLimiter = RateLimiter.create(5.0);
    
    //Service層切點  限流
    @Pointcut("@annotation(com.itstyle.seckill.common.aop.ServiceLimit)")  
    public void ServiceAspect() {
        
    }
    
    @Around("ServiceAspect()")
    public  Object around(ProceedingJoinPoint joinPoint) { 
        Boolean flag = rateLimiter.tryAcquire();
        Object obj = null;
        try {
            if(flag){
                obj = joinPoint.proceed();
            }
        } catch (Throwable e) {
            e.printStackTrace();
        } 
        return obj;
    } 
}

4、使用

@Override
@ServiceLimit
@Transactional
    public Result startSeckil(long seckillId,long userId) {
        //todo 操作
    }

SpringBoot之限流

限流的基礎算法

令牌桶和漏桶

  • 漏桶算法 的實現往往依賴於隊列，請求到達如果隊列未滿則直接放入隊列，然後有一個處理器按照固定頻率從隊列頭取出請求進行處理。如果請求量大，則會導致隊列滿，那麼新來的請求就會被拋棄。
  • 令牌桶算法 則是一個存放固定容量令牌的桶，按照固定速率往桶裡添加令牌。桶中存放的令牌數有最大上限，超出之後就被丟棄或者拒絕。當流量或者網絡請求到達時，每個請求都要獲取一個令牌，如果能夠獲取到，則直接處理，並且令牌桶刪除一個令牌。如果獲取不到，該請求就要被限流，要麼直接丟棄，要麼在緩沖區等待。

令牌桶和漏桶對比

  • 令牌桶是按照固定速率往桶中添加令牌，請求是否被處理需要看桶中令牌是否足夠，當令牌數減為零時則拒絕新的請求；漏桶則是按照常量固定速率流出請求，流入請求速率任意，當流入的請求數累積到漏桶容量時，則新流入的請求被拒絕；
  • 令牌桶限制的是平均流入速率，允許突發請求，隻要有令牌就可以處理，支持一次拿3個令牌，4個令牌；漏桶限制的是常量流出速率，即流出速率是一個固定常量值，比如都是1的速率流出，而不能一次是1，下次又是2，從而平滑突發流入速率；
  • 令牌桶允許一定程度的突發，而漏桶主要目的是平滑流出速率；

Guava RateLimiter

1.依賴

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>28.1-jre</version>
    <optional>true</optional>
</dependency>

2.示例代碼 

@Slf4j
@Configuration
public class RequestInterceptor implements HandlerInterceptor {
    // 根據字符串分不同的令牌桶, 每天自動清理緩存
    private static LoadingCache<String, RateLimiter> cachesRateLimiter = CacheBuilder.newBuilder()
            .maximumSize(1000)  //設置緩存個數
            /**
             * expireAfterWrite是在指定項在一定時間內沒有創建/覆蓋時，會移除該key，下次取的時候從loading中取
             * expireAfterAccess是指定項在一定時間內沒有讀寫，會移除該key，下次取的時候從loading中取
             * refreshAfterWrite是在指定時間內沒有被創建/覆蓋，則指定時間過後，再次訪問時，會去刷新該緩存，在新值沒有到來之前，始終返回舊值
             * 跟expire的區別是，指定時間過後，expire是remove該key，下次訪問是同步去獲取返回新值；
             * 而refresh則是指定時間後，不會remove該key，下次訪問會觸發刷新，新值沒有回來時返回舊值
             */
            .expireAfterAccess(1, TimeUnit.HOURS)
            .build(new CacheLoader<String, RateLimiter>() {
                @Override
                public RateLimiter load(String key) throws Exception {
                    // 新的字符串初始化 (限流每秒2個令牌響應)
                    return RateLimiter.create(2);
                }
            });
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler)
            throws Exception {
        log.info("request請求地址path[{}] uri[{}]", request.getServletPath(), request.getRequestURI());
        try {
            String str = "hello";
            // 令牌桶
            RateLimiter rateLimiter = cachesRateLimiter.get(str);
            if (!rateLimiter.tryAcquire()) {
                System.out.println("too many requests.");
                return false;
            }
        } catch (Exception e) {
            // 解決攔截器的異常，全局異常處理器捕獲不到的問題
            request.setAttribute("exception", e);
            request.getRequestDispatcher("/error").forward(request, response);
        }
        return true;
    }
}

3.測試

@RestController
@RequestMapping(value = "user")
public class UserController {
    @GetMapping
    public Result test2(){
        System.out.println("1111");
        return new Result(true,200,"");
    }
}

http://localhost:8080/user/

如果沒有result類，自己可以隨便返回個字符串

4.測試結果

其他

創建

RateLimiter提供瞭兩個工廠方法：

  • 一個是平滑突發限流
RateLimiter r = RateLimiter.create(5); //項目啟動，直接允許5個令牌
  • 一個是平滑預熱限流
RateLimiter r = RateLimiter.create(2, 3, TimeUnit.SECONDS); //項目啟動後3秒後才會到達設置的2個令牌

缺點

RateLimiter隻能用於單機的限流，如果想要集群限流，則需要引入redis或者阿裡開源的sentinel中間件。

TimeUnit.SECONDS);` //項目啟動後3秒後才會到達設置的2個令牌

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：