Guava来做接口限流RateLimit

2024-03-13 05:18
文章标签 接口 限流 guava ratelimit

本文主要是介绍Guava来做接口限流RateLimit,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文地址:http://blog.csdn.net/jiesa/article/details/50412027

一、问题描述  

  某天A君突然发现自己的接口请求量突然涨到之前的10倍,没多久该接口几乎不可使用,并引发连锁反应导致整个系统崩溃。如何应对这种情况呢?生活给了我们答案:比如老式电闸都安装了保险丝,一旦有人使用超大功率的设备,保险丝就会烧断以保护各个电器不被强电流给烧坏。同理我们的接口也需要安装上“保险丝”,以防止非预期的请求对系统压力过大而引起的系统瘫痪,当流量过大时,可以采取拒绝或者引流等机制。 

二、常用的限流算法

      常用的限流算法有两种:漏桶算法和令牌桶算法,这篇博文介绍得比较清晰(过载保护算法浅析)。

      漏桶算法思路很简单,请求先进入到漏桶里,漏桶以一定的速度出水,当水请求过大会直接溢出,可以看出漏桶算法能强行限制数据的传输速率。


图1 漏桶算法示意图

      对于很多应用场景来说,除了要求能够限制数据的平均传输速率外,还要求允许某种程度的突发传输。这时候漏桶算法可能就不合适了,令牌桶算法更为适合。如图2所示,令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌,而如果请求需要被处理,则需要先从桶里获取一个令牌,当桶里没有令牌可取时,则拒绝服务。


图2 令牌桶算法示意图

三、限流工具类RateLimiter

   google开源工具包guava提供了限流工具类RateLimiter,该类基于“令牌桶算法”,非常方便使用。该类的接口描述请参考:RateLimiter接口描述,具体的使用请参考:RateLimiter使用实践。


RateLimiter 使用Demo

[java]  view plain copy
  1. package ratelimite;  
  2.   
  3. import com.google.common.util.concurrent.RateLimiter;  
  4.    
  5. public class RateLimiterDemo {  
  6.     public static void main(String[] args) {  
  7.         testNoRateLimiter();  
  8.         testWithRateLimiter();  
  9.     }  
  10.    
  11.     public static void testNoRateLimiter() {  
  12.         Long start = System.currentTimeMillis();  
  13.         for (int i = 0; i < 10; i++) {  
  14.             System.out.println("call execute.." + i);  
  15.               
  16.         }  
  17.         Long end = System.currentTimeMillis();  
  18.           
  19.         System.out.println(end - start);  
  20.           
  21.     }  
  22.       
  23.     public static void testWithRateLimiter() {  
  24.         Long start = System.currentTimeMillis();  
  25.         RateLimiter limiter = RateLimiter.create(10.0); // 每秒不超过10个任务被提交  
  26.         for (int i = 0; i < 10; i++) {  
  27.             limiter.acquire(); // 请求RateLimiter, 超过permits会被阻塞  
  28.             System.out.println("call execute.." + i);  
  29.               
  30.         }  
  31.         Long end = System.currentTimeMillis();  
  32.           
  33.         System.out.println(end - start);  
  34.           
  35.     }  
  36.       
  37. }  
  38.    

四 Guava并发:ListenableFuture与RateLimiter示例

概念

        ListenableFuture顾名思义就是可以监听的Future,它是对Java原生Future的扩展增强。我们知道Future表示一个异步计算任务,当任务完成时可以得到计算结果。如果我们希望一旦计算完成就拿到结果展示给用户或者做另外的计算,就必须使用另一个线程不断的查询计算状态。这样做,代码复杂,而且效率低下。使用ListenableFuture Guava帮我们检测Future是否完成了,如果完成就自动调用回调函数,这样可以减少并发程序的复杂度。      

        推荐使用第二种方法,因为第二种方法可以直接得到Future的返回值,或者处理错误情况。本质上第二种方法是通过调动第一种方法实现的,做了进一步的封装。

另外ListenableFuture还有其他几种内置实现:

  1. SettableFuture:不需要实现一个方法来计算返回值,而只需要返回一个固定值来做为返回值,可以通过程序设置此Future的返回值或者异常信息

  2. CheckedFuture: 这是一个继承自ListenableFuture接口,他提供了checkedGet()方法,此方法在Future执行发生异常时,可以抛出指定类型的异常。


    RateLimiter类似于JDK的信号量Semphore,他用来限制对资源并发访问的线程数,本文介绍RateLimiter使用

代码示例

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
import  java.util.concurrent.Callable;
import  java.util.concurrent.ExecutionException;
import  java.util.concurrent.Executors;
import  java.util.concurrent.TimeUnit;
import  com.google.common.util.concurrent.FutureCallback;
import  com.google.common.util.concurrent.Futures;
import  com.google.common.util.concurrent.ListenableFuture;
import  com.google.common.util.concurrent.ListeningExecutorService;
import  com.google.common.util.concurrent.MoreExecutors;
import  com.google.common.util.concurrent.RateLimiter;
public  class  ListenableFutureDemo {
     public  static  void  main(String[] args) {
         testRateLimiter();
         testListenableFuture();
     }
     /**
      * RateLimiter类似于JDK的信号量Semphore,他用来限制对资源并发访问的线程数
      */
     public  static  void  testRateLimiter() {
         ListeningExecutorService executorService = MoreExecutors
                 .listeningDecorator(Executors.newCachedThreadPool());
         RateLimiter limiter = RateLimiter.create( 5.0 );  // 每秒不超过5个任务被提交
         for  ( int  i =  0 ; i <  10 ; i++) {
             limiter.acquire();  // 请求RateLimiter, 超过permits会被阻塞
             final  ListenableFuture<Integer> listenableFuture = executorService
                     .submit( new  Task( "is " + i));
         }
     }
     public  static  void  testListenableFuture() {
         ListeningExecutorService executorService = MoreExecutors
                 .listeningDecorator(Executors.newCachedThreadPool());
         final  ListenableFuture<Integer> listenableFuture = executorService
                 .submit( new  Task( "testListenableFuture" ));
         
         //同步获取调用结果
         try  {
             System.out.println(listenableFuture.get());
         catch  (InterruptedException e1) {
             e1.printStackTrace();
         catch  (ExecutionException e1) {
             e1.printStackTrace();
         }
         
         //第一种方式
         listenableFuture.addListener( new  Runnable() {
             @Override
             public  void  run() {
                 try  {
                     System.out.println( "get listenable future's result "
                             + listenableFuture.get());
                 catch  (InterruptedException e) {
                     e.printStackTrace();
                 catch  (ExecutionException e) {
                     e.printStackTrace();
                 }
             }
         }, executorService);
         //第二种方式
         Futures.addCallback(listenableFuture,  new  FutureCallback<Integer>() {
             @Override
             public  void  onSuccess(Integer result) {
                 System.out
                         .println( "get listenable future's result with callback "
                                 + result);
             }
             @Override
             public  void  onFailure(Throwable t) {
                 t.printStackTrace();
             }
         });
     }
}
class  Task  implements  Callable<Integer> {
     String str;
     public  Task(String str){
         this .str = str;
     }
     @Override
     public  Integer call()  throws  Exception {
         System.out.println( "call execute.."  + str);
         TimeUnit.SECONDS.sleep( 1 );
         return  7 ;
     }
}

Guava版本

?
1
2
3
4
5
< dependency >
             < groupId >com.google.guava</ groupId >
             < artifactId >guava</ artifactId >
             < version >14.0.1</ version >
         </ dependency >


本文是对以下文章的加工整合。

http://www.w2bc.com/Article/10235

http://my.oschina.NET/cloudcoder/blog/359598


这篇关于Guava来做接口限流RateLimit的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/803737

相关文章

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

springboot下载接口限速功能实现

《springboot下载接口限速功能实现》通过Redis统计并发数动态调整每个用户带宽,核心逻辑为每秒读取并发送限定数据量,防止单用户占用过多资源,确保整体下载均衡且高效,本文给大家介绍spring... 目录 一、整体目标 二、涉及的主要类/方法✅ 三、核心流程图解(简化) 四、关键代码详解1️⃣ 设置

spring中的ImportSelector接口示例详解

《spring中的ImportSelector接口示例详解》Spring的ImportSelector接口用于动态选择配置类,实现条件化和模块化配置,关键方法selectImports根据注解信息返回... 目录一、核心作用二、关键方法三、扩展功能四、使用示例五、工作原理六、应用场景七、自定义实现Impor

MybatisPlus service接口功能介绍

《MybatisPlusservice接口功能介绍》:本文主要介绍MybatisPlusservice接口功能介绍,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录Service接口基本用法进阶用法总结:Lambda方法Service接口基本用法MyBATisP

Java中的Closeable接口及常见问题

《Java中的Closeable接口及常见问题》Closeable是Java中的一个标记接口,用于表示可以被关闭的对象,它定义了一个标准的方法来释放对象占用的系统资源,下面给大家介绍Java中的Clo... 目录1. Closeable接口概述2. 主要用途3. 实现类4. 使用方法5. 实现自定义Clos

java对接第三方接口的三种实现方式

《java对接第三方接口的三种实现方式》:本文主要介绍java对接第三方接口的三种实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录HttpURLConnection调用方法CloseableHttpClient调用RestTemplate调用总结在日常工作

Java 的 Condition 接口与等待通知机制详解

《Java的Condition接口与等待通知机制详解》在Java并发编程里,实现线程间的协作与同步是极为关键的任务,本文将深入探究Condition接口及其背后的等待通知机制,感兴趣的朋友一起看... 目录一、引言二、Condition 接口概述2.1 基本概念2.2 与 Object 类等待通知方法的区别

SpringBoot实现接口数据加解密的三种实战方案

《SpringBoot实现接口数据加解密的三种实战方案》在金融支付、用户隐私信息传输等场景中,接口数据若以明文传输,极易被中间人攻击窃取,SpringBoot提供了多种优雅的加解密实现方案,本文将从原... 目录一、为什么需要接口数据加解密?二、核心加解密算法选择1. 对称加密(AES)2. 非对称加密(R

Java对接Dify API接口的完整流程

《Java对接DifyAPI接口的完整流程》Dify是一款AI应用开发平台,提供多种自然语言处理能力,通过调用Dify开放API,开发者可以快速集成智能对话、文本生成等功能到自己的Java应用中,本... 目录Java对接Dify API接口完整指南一、Dify API简介二、准备工作三、基础对接实现1.

Java controller接口出入参时间序列化转换操作方法(两种)

《Javacontroller接口出入参时间序列化转换操作方法(两种)》:本文主要介绍Javacontroller接口出入参时间序列化转换操作方法,本文给大家列举两种简单方法,感兴趣的朋友一起看... 目录方式一、使用注解方式二、统一配置场景:在controller编写的接口,在前后端交互过程中一般都会涉及