记一次生产问题--CompletableFuture默认线程池

2024-06-06 16:08

本文主要是介绍记一次生产问题--CompletableFuture默认线程池,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在jdk7中,我们使用线程池可能会使用ExecutorService,默认有四种方式

Executors.newSingleeThreadPool()

 

Executors.newFixedThreadPool()

Executors.newCacheThreadPool()

Executors.newScheduledThreadPool()

在jdk8中,CompletableFuture腾空出世,它简化了异步任务的写法,提供了很多异步任务的计算方式。

言归正传,现在生产上面出现的问题是,在流量激增的时候,响应很慢,慢慢的所有请求都无法得到响应结果

解决方案:

①查看cpu和内存使用率

cpu使用率很低,5%左右,内存使用一直不变,基本排除不是他们的问题。

①.查看gc

看到full gc没有发生,young gc 虽然增加了一点,但是平均响应时间也就是50ms,也算正常了。

 

② 分析dump堆

下了一个126M的dump包,有一个类占了60m。首先怀疑是不是内存溢出了,但是通过分析,这部分缓存是必需要做的,并且当时dump下来的包确实有点小,数据观测的不够准确。

③.查看栈信息

 

发现有很多ForkJoinPool.commonPool-worker-线程正在等待,其实使用过CompletableFuture的同学就知道,它里面用的是ForkJoin池来实现的。有想了解线程池源码的可以去读读这篇文章。

为什么这里会有这么多的线程在等待呢?生产上面的服务器使用的是一个两核的服务器,线程池里面只会是1个线程可以执行。为什么是一个,请看源码。

 

 
@Test
public void test12() throws InterruptedException {  先做一个单元测试CompletableFuture.runAsync(()->{  //在此处打断点System.out.println("111");});Thread.sleep(400000);
}

 

一步一步把代码贴出来,看官看好。

 

public static CompletableFuture<Void> runAsync(Runnable runnable) {  //运行线程的方法return asyncRunStage(asyncPool, runnable);
}

asyncPool是什么?看一下这个值的设置。

 

private static final Executor asyncPool = useCommonPool ?ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();

useCommonPool是什么?

 

private static final boolean useCommonPool =(ForkJoinPool.getCommonPoolParallelism() > 1);
public static int getCommonPoolParallelism() {return commonParallelism;
}

commonParallelism就是那个并发的线程数,它又是怎么来的呢?

 

static {// initialize field offsets for CAS etc。。。。。。commonMaxSpares = DEFAULT_COMMON_MAX_SPARES;defaultForkJoinWorkerThreadFactory =new DefaultForkJoinWorkerThreadFactory();modifyThreadPermission = new RuntimePermission("modifyThread");common = java.security.AccessController.doPrivileged(new java.security.PrivilegedAction<ForkJoinPool>() {public ForkJoinPool run() { return makeCommonPool(); }});  //重点看makeCommonPool方法int par = common.config & SMASK; // 获取到par SMASK的值是 65535 也就是1111111111111111  &操作还是common.config本身,看样子还是要看看config是怎么来的commonParallelism = par > 0 ? par : 1;  想知道par是什么值,这个值为负数默认是1
}
private static ForkJoinPool makeCommonPool() {int parallelism = -1;  //这个并发的线程数默认是-1ForkJoinWorkerThreadFactory factory = null;。。。。。。if (parallelism < 0 && (parallelism = Runtime.getRuntime().availableProcessors() - 1) <= 0)  //看到了吧,线程池中的处理线程数=电脑核数-1parallelism = 1;if (parallelism > MAX_CAP)parallelism = MAX_CAP;return new ForkJoinPool(parallelism, factory, handler, LIFO_QUEUE,"ForkJoinPool.commonPool-worker-");  //指定线程的名字
}

到此分析完毕,使用了逆推法。

由于生产服务器电脑核数较小,而在CompletableFuture代码中又使用了默认的线程池,处理的线程个数是电脑核数1。这样等有大请求量过来,处理逻辑又很复杂,很多线程都在等待执行,慢慢拖垮了服务器。

 

调整线程池的大小

《Java并发编程实战》(http://mng.bz/979c)一书中,Brian Goetz和合著者们为线程池大小
的优化提供了不少中肯的建议。这非常重要,如果线程池中线程的数量过多,最终它们会竞争
稀缺的处理器和内存资源,浪费大量的时间在上下文切换上。反之,如果线程的数目过少,正
如你的应用所面临的情况,处理器的一些核可能就无法充分利用。Brian Goetz建议,线程池大
小与处理器的利用率之比可以使用下面的公式进行估算:
N threads = N CPU * U CPU * (1 + W/C)
其中:
❑N CPU 是处理器的核的数目,可以通过 Runtime.getRuntime().availableProce-
ssors() 得到
❑U CPU 是期望的CPU利用率(该值应该介于0和1之间)

❑W/C是等待时间与计算时间的比率

这里太啰嗦了,一般的设置线程池的大小规则是

如果服务是cpu密集型的,设置为电脑的核数

如果服务是io密集型的,设置为电脑的核数*2

这篇关于记一次生产问题--CompletableFuture默认线程池的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1036587

相关文章

Java Lettuce 客户端入门到生产的实现步骤

《JavaLettuce客户端入门到生产的实现步骤》本文主要介绍了JavaLettuce客户端入门到生产的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录1 安装依赖MavenGradle2 最小化连接示例3 核心特性速览4 生产环境配置建议5 常见问题

JDK21对虚拟线程的几种用法实践指南

《JDK21对虚拟线程的几种用法实践指南》虚拟线程是Java中的一种轻量级线程,由JVM管理,特别适合于I/O密集型任务,:本文主要介绍JDK21对虚拟线程的几种用法,文中通过代码介绍的非常详细,... 目录一、参考官方文档二、什么是虚拟线程三、几种用法1、Thread.ofVirtual().start(

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程?1.2 为什么需要虚拟线程?二、虚拟线程与平台线程对比代码对比示例:三

IDEA和GIT关于文件中LF和CRLF问题及解决

《IDEA和GIT关于文件中LF和CRLF问题及解决》文章总结:因IDEA默认使用CRLF换行符导致Shell脚本在Linux运行报错,需在编辑器和Git中统一为LF,通过调整Git的core.aut... 目录问题描述问题思考解决过程总结问题描述项目软件安装shell脚本上git仓库管理,但拉取后,上l

idea npm install很慢问题及解决(nodejs)

《ideanpminstall很慢问题及解决(nodejs)》npm安装速度慢可通过配置国内镜像源(如淘宝)、清理缓存及切换工具解决,建议设置全局镜像(npmconfigsetregistryht... 目录idea npm install很慢(nodejs)配置国内镜像源清理缓存总结idea npm in

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

Java 线程池+分布式实现代码

《Java线程池+分布式实现代码》在Java开发中,池通过预先创建并管理一定数量的资源,避免频繁创建和销毁资源带来的性能开销,从而提高系统效率,:本文主要介绍Java线程池+分布式实现代码,需要... 目录1. 线程池1.1 自定义线程池实现1.1.1 线程池核心1.1.2 代码示例1.2 总结流程2. J

idea突然报错Malformed \uxxxx encoding问题及解决

《idea突然报错Malformeduxxxxencoding问题及解决》Maven项目在切换Git分支时报错,提示project元素为描述符根元素,解决方法:删除Maven仓库中的resolv... 目www.chinasem.cn录问题解决方式总结问题idea 上的 maven China编程项目突然报错,是

Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

《Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题》在爬虫工程里,“HTTPS”是绕不开的话题,HTTPS为传输加密提供保护,同时也给爬虫带来证书校验、... 目录一、核心问题与优先级检查(先问三件事)二、基础示例:requests 与证书处理三、高并发选型:

前端导出Excel文件出现乱码或文件损坏问题的解决办法

《前端导出Excel文件出现乱码或文件损坏问题的解决办法》在现代网页应用程序中,前端有时需要与后端进行数据交互,包括下载文件,:本文主要介绍前端导出Excel文件出现乱码或文件损坏问题的解决办法,... 目录1. 检查后端返回的数据格式2. 前端正确处理二进制数据方案 1:直接下载(推荐)方案 2:手动构造