Java——基于CompletableFuture的流水线并行处理

2024-03-26 20:28
文章标签 java 流水线 completablefuture 并行处理

本文主要是介绍Java——基于CompletableFuture的流水线并行处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

CompletableFuture在JDK1.8提供了一种更加强大的异步编程的api。它实现了Future接口，也就是Future的功能特性CompletableFuture也有；除此之外，它也实现了CompletionStage接口，CompletionStage接口定义了任务编排的方法，执行某一阶段，可以向下执行后续阶段。

CompletableFuture相比于Future最大的改进就是提供了类似观察者模式的回调监听的功能，也就是当上一阶段任务执行结束之后，可以回调你指定的下一阶段任务，而不需要阻塞获取结果之后来处理结果。

CompletableFuture常见api详解：

1、实例化CompletableFuture

// 构造方法创建
CompletableFuture<String> completableFuture = new CompletableFuture<>();
completableFuture.complete("hello");
System.out.println(completableFuture.get());
// 静态方法创建
/**
supply 和 run 的主要区别就是 supply 可以有返回值，run 没有返回值。
Executor 就是用来执行异步任务的线程池,
如果不传Executor 的话，默认是ForkJoinPool这个线程池的实现。
一旦通过静态方法来构造，会立马开启异步线程执行Supplier或者Runnable提交的任务。
**/
public static <U> CompletableFuture<U> supplyAsync(Supplier<U> supplier);
public static <U> CompletableFuture<U> supplyAsync(Supplier<U> supplier, Executor executor);public static CompletableFuture<Void> runAsync(Runnable runnable);
public static CompletableFuture<Void> runAsync(Runnable runnable, Executor executor);
// 一旦任务执行完成，就可以打印返回值，这里的使用方法跟Future是一样的。
CompletableFuture<String> completableFuture = CompletableFuture.supplyAsync(() -> "hello");
System.out.println(completableFuture.get());

使用构造方法需要其它线程主动调用complete来表示任务执行完成，因为很简单，因为在构造的时候没有执行异步的任务，所以需要其它线程主动调用complete来表示任务执行完成。

2、获取任务执行结果

public T get();
public T get(long timeout, TimeUnit unit);
public T getNow(T valueIfAbsent);
public T join();
  • get()和get(long timeout, TimeUnit
    unit)是实现了Future接口的功能，两者主要区别就是get()会一直阻塞直到获取到结果，get(long timeout,
    TimeUnit unit)值可以指定超时时间，当到了指定的时间还未获取到任务，就会抛出TimeoutException异常。
  • getNow(T valueIfAbsent)：就是获取任务的执行结果，但不会产生阻塞。如果任务还没执行完成，那么就会返回你传入的
    valueIfAbsent 参数值，如果执行完成了，就会返回任务执行的结果。
  • join()：跟get()的主要区别就是，get()会抛出检查时异常，join()不会。

3、主动触发任务完成

public boolean complete(T value);
public boolean completeExceptionally(Throwable ex);
  • complete：主动触发当前异步任务的完成。调用此方法时如果你的任务已经完成，那么方法就会返回false；如果任务没完成，就会返回true，并且其它线程获取到的任务的结果就是complete的参数值。
  • completeExceptionally：跟complete的作用差不多，complete是正常结束任务，返回结果，而completeExceptionally就是触发任务执行的异常。

4、对任务执行结果进行下一步处理

// 只能接收任务正常执行后的回调
public <U> CompletionStage<U> thenApply(Function<? super T,? extends U> fn);
public CompletableFuture<Void> thenRun(Runnable action);
public CompletionStage<Void> thenAccept(Consumer<? super T> action);

这类回调的特点就是，当任务正常执行完成，没有异常的时候就会回调。

  • thenApply：可以拿到上一步任务执行的结果进行处理，并且返回处理的结果
  • thenRun：拿不到上一步任务执行的结果，但会执行Runnable接口的实现
  • thenAccept：可以拿到上一步任务执行的结果进行处理，但不需要返回处理的结果
// 只能接收任务处理异常后的回调
public CompletionStage<T> exceptionally(Function<Throwable, ? extends T> fn);

当上面的任务执行过程中出现异常的时候，会回调exceptionally方法指定的回调，但是如果没有出现异常，是不会回调的。

exceptionally能够将异常给吞了，并且fn的返回值会返回回去。

其实这个exceptionally方法有点像降级的味道。当出现异常的时候，走到这个回调，可以返回一个默认值回去。

// 能同时接收任务执行正常和异常的回调
public <U> CompletionStage<U> handle(BiFunction<? super T, Throwable, ? extends U> fn);
public CompletionStage<T> whenComplete(BiConsumer<? super T, ? super Throwable> actin);

不论前面的任务执行成功还是失败都会回调的这类方法指定的回调方法。

  • handle :
    跟exceptionally有点像，但是exceptionally是出现异常才会回调，两者都有返回值，都能吞了异常，但是handle正常情况下也能回调。
  • whenComplete：能接受正常或者异常的回调，并且不影响上个阶段的返回值，也就是主线程能获取到上个阶段的返回值；当出现异常时，whenComplete并不能吞了这个异常，也就是说主线程在获取执行异常任务的结果时，会抛出异常。

示例：

    @Testpublic void then(){CompletableFuture<String> completableFuture1 = CompletableFuture.supplyAsync(() -> 10).thenApply(v -> ("上一步的执行的结果为：" + v));System.out.println(completableFuture1.join());CompletableFuture<Void> completableFuture2 = CompletableFuture.supplyAsync(() -> 10).thenRun(() -> System.out.println("上一步执行完成"));CompletableFuture<Void> completableFuture3 = CompletableFuture.supplyAsync(() -> 10).thenAccept(v -> System.out.println("上一步执行完成，结果为：" + v));CompletableFuture<Integer> completableFuture5 = CompletableFuture.supplyAsync(() -> {return 100;}).exceptionally(e -> {System.out.println("出现异常了，返回默认值");return 110;});System.out.println(completableFuture5.join());CompletableFuture<Integer> completableFuture6 = CompletableFuture.supplyAsync(() -> {int i = 1 / 0;return 100;}).exceptionally(e -> {System.out.println("出现异常了，返回默认值");return 110;});System.out.println(completableFuture6.join());CompletableFuture<String> completableFuture4 = CompletableFuture.supplyAsync(() -> {//模拟异常int i = 1 / 0;return 10;}).thenApply(v -> ("上一步的执行的结果为：" + v));System.out.println(completableFuture4.join());CompletableFuture<Integer> completableFuture7 = CompletableFuture.supplyAsync(() -> {int i = 1 / 0;return 10;}).whenComplete((r, e) -> {System.out.println("whenComplete被调用了");});System.out.println(completableFuture7.join());}

上一步的执行的结果为：10
上一步执行完成
上一步执行完成，结果为：10
100
出现异常了，返回默认值
110java.util.concurrent.CompletionException: java.lang.ArithmeticException: / by zerowhenComplete被调用了
Exception in thread "main" java.util.concurrent.CompletionException: java.lang.ArithmeticException: / by zero

5、对任务结果进行合并

public <U,V> CompletionStage<V> thenCombine(CompletionStage<? extends U> other,BiFunction<? super T,? super U,? extends V> fn);

这个方法的意思是，当前任务和other任务都执行结束后，拿到这两个任务的执行结果，回调 BiFunction ，然后返回新的结果。

6、以Async结尾的方法

public CompletionStage<Void> thenAcceptAsync(Consumer<? super T> action,Executor executor);
public CompletionStage<Void> thenAcceptAsync(Consumer<? super T> action);

thenAcceptAsync跟thenAccept的主要区别就是thenAcceptAsync会重新开一个线程来执行下一阶段的任务，而thenAccept还是用上一阶段任务执行的线程执行。

两个thenAcceptAsync主要区别就是一个使用默认的线程池来执行任务，也就是ForkJoinPool，一个是使用方法参数传入的线程池来执行任务。

当然除了thenAccept方法之外，上述提到的方法还有很多带有Async结尾的对应的方法，他们的主要区别就是执行任务是否开启异步线程来执行的区别。

CompletableFuture实战测试：

场景：

  • 从某宝、某东、某多多去获取某个商品的价格、折扣
  • 并计算出实际付款金额
  • 最终返回最优的平台与价格信息

多线程形式：
多线程流程图

@Slf4j
public class CompleteFutureTest1 {static ThreadPoolExecutor threadPool = new ThreadPoolExecutor(50,100,10,TimeUnit.SECONDS,new ArrayBlockingQueue<>(200),Executors.defaultThreadFactory(),new ThreadPoolExecutor.AbortPolicy());public static void main(String[] args) {userFutureTask();}private static void userFutureTask(){long start = System.currentTimeMillis();Future<BigDecimal> moubaoFuture = threadPool.submit(() -> {// 1、查询某宝价格log.info("查询 某宝价格");TimeUnit.SECONDS.sleep(2);BigDecimal bigDecimal = new BigDecimal("100");// 2、查询某宝折扣log.info("查询 某宝折扣");TimeUnit.SECONDS.sleep(2);BigDecimal discount = new BigDecimal("0.6");// 3、计算某宝实时价格log.info("计算 某宝实时价格");TimeUnit.SECONDS.sleep(2);return bigDecimal.multiply(discount);});Future<BigDecimal> moudongFuture = threadPool.submit(() -> {// 1、查询某宝价格log.info("查询 某东价格");TimeUnit.SECONDS.sleep(2);BigDecimal bigDecimal = new BigDecimal("100");// 2、查询某宝折扣log.info("查询 某东折扣");TimeUnit.SECONDS.sleep(2);BigDecimal discount = new BigDecimal("0.6");// 3、计算某宝实时价格log.info("计算 某东实时价格");TimeUnit.SECONDS.sleep(2);return bigDecimal.multiply(discount);});Future<BigDecimal> mouduoFuture = threadPool.submit(() -> {// 1、查询某宝价格log.info("查询 某多价格");TimeUnit.SECONDS.sleep(2);BigDecimal bigDecimal = new BigDecimal("100");// 2、查询某宝折扣log.info("查询 某多折扣");TimeUnit.SECONDS.sleep(2);BigDecimal discount = new BigDecimal("0.6");// 3、计算某宝实时价格log.info("计算 某多实时价格");TimeUnit.SECONDS.sleep(2);return bigDecimal.multiply(discount);});BigDecimal minPrice = Stream.of(moubaoFuture, moudongFuture, mouduoFuture).map(priceResultFuture -> {try {return priceResultFuture.get(10, TimeUnit.SECONDS);} catch (Exception e) {log.error("exception:{}", e.getMessage());return null;}}).filter(Objects::nonNull).sorted(BigDecimal::compareTo).findFirst().get();log.info("minPrice: {}", minPrice);long end = System.currentTimeMillis();log.info("耗时: {}" + (end - start));}}

17:54:09.417 [pool-1-thread-1] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某宝价格
17:54:09.417 [pool-1-thread-2] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某东价格
17:54:09.417 [pool-1-thread-3] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某多价格
17:54:11.421 [pool-1-thread-3] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某多折扣
17:54:11.421 [pool-1-thread-2] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某东折扣
17:54:11.421 [pool-1-thread-1] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某宝折扣
17:54:13.421 [pool-1-thread-1] INFO com.ooamo.example.E13.CompleteFutureTest1 - 计算 某宝实时价格
17:54:13.421 [pool-1-thread-2] INFO com.ooamo.example.E13.CompleteFutureTest1 - 计算 某东实时价格
17:54:13.421 [pool-1-thread-3] INFO com.ooamo.example.E13.CompleteFutureTest1 - 计算 某多实时价格
17:54:15.422 [main] INFO com.ooamo.example.E13.CompleteFutureTest1 - minPrice: 60.0
17:54:15.423 [main] INFO com.ooamo.example.E13.CompleteFutureTest1 - 耗时: {}6050

使用多线程的方法去实现，耗时为6s

CompletableFuture形式：
completableFuture流程图

@Slf4j
public class CompleteFutureTest2 {public static void main(String[] args) {userFutureTask();}private static void userFutureTask(){long start = System.currentTimeMillis();CompletableFuture<BigDecimal> moubao = CompletableFuture.supplyAsync(() -> {// 1、查询某宝价格log.info("查询 某宝价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("100");}).thenCombine(CompletableFuture.supplyAsync(() -> {// 2、查询某宝折扣log.info("查询 某宝折扣");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("0.6");}), CompleteFutureTest2::computeRealPrice);CompletableFuture<BigDecimal> moudong = CompletableFuture.supplyAsync(() -> {// 1、查询某宝价格log.info("查询 某东价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("100");}).thenCombine(CompletableFuture.supplyAsync(() -> {// 2、查询某宝折扣log.info("查询 某东折扣");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("0.6");}), CompleteFutureTest2::computeRealPrice);CompletableFuture<BigDecimal> mouduo = CompletableFuture.supplyAsync(() -> {// 1、查询某宝价格log.info("查询 某多价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("100");}).thenCombine(CompletableFuture.supplyAsync(() -> {// 2、查询某宝折扣log.info("查询 某多折扣");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("0.6");}), CompleteFutureTest2::computeRealPrice);BigDecimal minPrice = Stream.of(moubao, mouduo, moudong).map(future -> {try {return future.get();} catch (Exception e) {throw new RuntimeException(e);}}).filter(Objects::nonNull).sorted(BigDecimal::compareTo).findFirst().get();log.info("minPrice: {}", minPrice);long end = System.currentTimeMillis();log.info("耗时: {}" + (end - start));}private static BigDecimal computeRealPrice(BigDecimal price, BigDecimal discount){log.info("计算价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e){e.printStackTrace();}return price.multiply(discount);}}

18:10:35.199 [ForkJoinPool.commonPool-worker-6] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某多折扣
18:10:35.199 [ForkJoinPool.commonPool-worker-2] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某宝折扣
18:10:35.199 [ForkJoinPool.commonPool-worker-9] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某宝价格
18:10:35.199 [ForkJoinPool.commonPool-worker-4] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某东折扣
18:10:35.199 [ForkJoinPool.commonPool-worker-13] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某多价格
18:10:35.199 [ForkJoinPool.commonPool-worker-11] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某东价格
18:10:37.203 [ForkJoinPool.commonPool-worker-9] INFO com.ooamo.example.E14.CompleteFutureTest2 - 计算价格
18:10:37.203 [ForkJoinPool.commonPool-worker-4] INFO com.ooamo.example.E14.CompleteFutureTest2 - 计算价格
18:10:37.203 [ForkJoinPool.commonPool-worker-13] INFO com.ooamo.example.E14.CompleteFutureTest2 - 计算价格
18:10:39.203 [main] INFO com.ooamo.example.E14.CompleteFutureTest2 - minPrice: 60.0
18:10:39.205 [main] INFO com.ooamo.example.E14.CompleteFutureTest2 - 耗时: {}4038

使用CompletableFuture的方法耗时为4s

这篇关于Java——基于CompletableFuture的流水线并行处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/849743。

相关文章

Spring Boot @RestControllerAdvice全局异常处理最佳实践

Spring Boot @RestControllerAdvice全局异常处理最佳实践

《SpringBoot@RestControllerAdvice全局异常处理最佳实践》本文详解SpringBoot中通过@RestControllerAdvice实现全局异常处理,强调代码复用、统... 目录前言一、为什么要使用全局异常处理？二、核心注解解析1. @RestControllerAdvice2
阅读更多...
Spring IoC 容器的使用详解(最新整理)

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注
阅读更多...
Spring事务传播机制最佳实践

Spring事务传播机制最佳实践

《Spring事务传播机制最佳实践》Spring的事务传播机制为我们提供了优雅的解决方案,本文将带您深入理解这一机制,掌握不同场景下的最佳实践,感兴趣的朋友一起看看吧... 目录1. 什么是事务传播行为2. Spring支持的七种事务传播行为2.1 REQUIRED（默认）2.2 SUPPORTS2
阅读更多...
怎样通过分析GC日志来定位Java进程的内存问题

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》：本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.
阅读更多...
Java进程异常故障定位及排查过程

Java进程异常故障定位及排查过程

《Java进程异常故障定位及排查过程》：本文主要介绍Java进程异常故障定位及排查过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、故障发现与初步判断1. 监控系统告警2. 日志初步分析二、核心排查工具与步骤1. 进程状态检查2. CPU 飙升问题3. 内存
阅读更多...
java中新生代和老生代的关系说明

java中新生代和老生代的关系说明

《java中新生代和老生代的关系说明》：本文主要介绍java中新生代和老生代的关系说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、内存区域划分新生代老年代二、对象生命周期与晋升流程三、新生代与老年代的协作机制1. 跨代引用处理2. 动态年龄判定3. 空间分
阅读更多...
Java设计模式---迭代器模式(Iterator)解读

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》：本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器（Iterator）1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一
阅读更多...
Java内存分配与JVM参数详解(推荐)

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空
阅读更多...
深度解析Java DTO(最新推荐)

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO（DataTransferObject）是一种用于在不同层（如Controller层、Service层）之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO？DTO的核心特点：二、为什么需要DTO？（对比Entity）三、实际应用场景解析
阅读更多...
Java 线程安全与 volatile与单例模式问题及解决方案

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因（调度随机、变量修改、非原子操作、内存可见性、指令重排序）及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2