FastDfs优化---解决RuntimeException: Unable to borrow buffer from pool问题

本文主要是介绍FastDfs优化---解决RuntimeException: Unable to borrow buffer from pool问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 目录索引
  • FastDfs优化
    • 1.目前问题
    • 2.解决思路
    • 3.Fastdfs的默认连接数量
    • 4.yml配置FastDfs参数

目录索引

Fastdfs—开源地址
Fastdfs—为什么选择使用Fastdfs和nginx?(附架构图)
Fastdfs—基本介绍和底层模型详解
Fastdfs—安装fastdfs和nginx
Fastdfs—安装常见报错处理大全

FastDfs优化

使用fastDfs中碰见了一个RuntimeException: Unable to borrow buffer from pool运行时异常:不能从池中获取缓存,在解决了这个异常的过程中通过FastDfs的源码了解到了FastDfs的初始化过程。这个bug就可以通过在FastDfs初始化的时候,设置pool池的相关数据即可解决。
这里将里面单个文件连接与pool池默认参数列举出来,我们可以根据自己的需求设置相应的yml进行优化FastDfs。

    //fast单个参数private int soTimeout;//读取时间private int connectTimeout;//超时连接时间//fast下pool的参数public static final int FDFS_MAX_TOTAL = 50;//连接池最大连接数50public static final boolean FDFS_TEST_WHILE_IDLE = true;public static final boolean FDFS_BLOCK_WHEN_EXHAUSTED = true;//当缓存池耗尽是否阻塞,默认为true  false直接报异常,true阻塞直到超时public static final long FDFS_MAX_WAIT_MILLIS = 100L;//连接耗尽最大等待时间 毫秒,超时抛出异常public static final long FDFS_MIN_EVICTABLE_IDLETIME_MILLIS = 180000L;//休眠时间超过该值则视为过期时间public static final long FDFS_TIME_BETWEEN_EVICTION_RUNS_MILLIS = 60000L;//60秒进行一次后台清理public static final int FDFS_NUM_TESTS_PEREVICTION_RUN = -1;//清理时检查所有线程

1.目前问题

在项目进行测试时,有多个人进行了文件的上传下载操作。而操作的是同一个fastdfs,就会出现以下异常

请添加图片描述
请添加图片描述

**异常报错代码

/*** 下载文件** @param fileUrl 文件URL* @return 文件字节* @throws IOException*/public byte[] downloadFileByte(String fileUrl) throws IOException {String group = fileUrl.substring(0, fileUrl.indexOf("/"));String path = fileUrl.substring(fileUrl.indexOf("/") + 1);-----这一行开始报错DownloadByteArray downloadByteArray = new DownloadByteArray();byte[] bytes = fastFileStorageClient.downloadFile(group, path, downloadByteArray);return bytes;}

2.解决思路

1.报错原因翻译

RuntimeException: Unable to borrow buffer from pool
运行时异常:不能从池中获取缓存

2.异常中来看是因为 fastdfs中客户端的连接池已经用完,导致了没有可用的连接

3.那么我们查看fastdfs中默认的连接数量是多少,设置fastdfs的默认连接数量即可

3.Fastdfs的默认连接数量

1.在我们方法中调用了DefaultGenerateStorageClient类中downloadFile方法

    public <T> T downloadFile(String groupName, String path, long fileOffset, long fileSize, DownloadCallback<T> callback) {StorageNodeInfo client = this.trackerClient.getFetchStorage(groupName, path);StorageDownloadCommand<T> command = new StorageDownloadCommand(groupName, path, fileOffset, fileSize, callback);return this.connectionManager.executeFdfsCmd(client.getInetSocketAddress(), command);//进行fastdfs连接下载}

2.ConnectionManager进行连接Pool操作 -------------真正报错原因
我们查看代码可以知道报错是因为 FdfsConnectionPool这个自动注入时失败,从而导致这个异常。那么我们等下直接去查看这个类是如何进行初始化的。

	//自动注入FdfsConnectionPool,而FdfsConnectionPool具有初始值。@Autowiredprivate FdfsConnectionPool pool;public <T> T executeFdfsCmd(InetSocketAddress address, FdfsCommand<T> command) {Connection conn = this.getConnection(address);return this.execute(address, conn, command);}protected Connection getConnection(InetSocketAddress address) {Connection conn = null;try {//这一段 就是我们报错出现的原因,进行FdfsConnectionPool类自动注入。conn = (Connection)this.pool.borrowObject(address);return conn;} catch (FdfsException var4) {throw var4;} catch (Exception var5) {LOGGER.error("Unable to borrow buffer from pool", var5);throw new RuntimeException("Unable to borrow buffer from pool", var5);}}

3.FdfsConnectionPool连接池的初始化设置

	@Autowiredpublic FdfsConnectionPool(KeyedPooledObjectFactory<InetSocketAddress, Connection> factory, GenericKeyedObjectPoolConfig config) {super(factory, config);}

构造方法中有两个参数 KeyedPooledObjectFactory GenericKeyedObjectPoolConfig这两个参数决定了fastdfs的两个值

3.1首先我们查看KeyedPooledObjectFactory `这个参数

因为这是一个接口,我们直接进入它的实现类中。而实现类中有一个PooledConnectionFactory就是fast的相关初始化设置。

  • 设置读取时间
  • 设置超时连接时间
@Component
@ConfigurationProperties(prefix = "fdfs"
)
public class PooledConnectionFactory extends BaseKeyedPooledObjectFactory<InetSocketAddress, Connection> {private int soTimeout;//读取时间private int connectTimeout;//超时连接时间
}

所以我们一般会在yml中进行配置

fdfs:
#单位 毫秒soTimeout: 15000 # 读取时间connectTimeout: 15000 # 超时连接时间

3.2在GenericKeyedObjectPoolConfig连接池初始化内容

因为都是自动注入,而该类上并没有@Componen注解所以这个是一个父类。我们直接进入它的子类中,而我们直接针对里面对应的参数设置我们想要的值

@Component
@ConfigurationProperties(prefix = "fdfs.pool"
)
public class ConnectionPoolConfig extends GenericKeyedObjectPoolConfig {public static final int FDFS_MAX_TOTAL = 50;//连接池最大连接数50public static final boolean FDFS_TEST_WHILE_IDLE = true;public static final boolean FDFS_BLOCK_WHEN_EXHAUSTED = true;//当缓存池耗尽是否阻塞,默认为true  false直接报异常,true阻塞直到超时public static final long FDFS_MAX_WAIT_MILLIS = 100L;//连接耗尽最大等待时间 毫秒,超时抛出异常public static final long FDFS_MIN_EVICTABLE_IDLETIME_MILLIS = 180000L;//休眠时间超过该值则视为过期时间public static final long FDFS_TIME_BETWEEN_EVICTION_RUNS_MILLIS = 60000L;//60秒进行一次后台清理public static final int FDFS_NUM_TESTS_PEREVICTION_RUN = -1;//清理时检查所有线程public ConnectionPoolConfig() {this.setMaxTotal(50);//设置连接最大数this.setTestWhileIdle(true);//空闲时检查有效性this.setBlockWhenExhausted(true);//连接耗尽是否阻塞this.setMaxWaitMillis(100L);//获取连接最大等待时间,超过报错this.setMinEvictableIdleTimeMillis(180000L);//休眠时间超过该值则视为过期时间this.setTimeBetweenEvictionRunsMillis(60000L);//60秒进行一次后台清理this.setNumTestsPerEvictionRun(-1);//清理时检查所有线程this.setJmxNameBase("com.github.tobato.fastdfs.conn:type=FdfsConnectionPool");this.setJmxNamePrefix("fdfsPool");}
}

从该类就看得出fastdfs默认的连接池配置,我们针对性的配置fast中内容

#fast-dfs
fdfs:pool:max-total: 200   # 连接池最大数量max-total-per-key: 50  # 单个tracker最大连接数max-wait-millis: 5000 # 连接耗尽最大等待时间 毫秒

4.yml配置FastDfs参数

fdfs:soTimeout: 15000connectTimeout: 15000pool:max-total: 200   # 连接池最大数量max-total-per-key: 50  # 单个tracker最大连接数max-wait-millis: 5000 # 连接耗尽最大等待时间 毫秒

设置过后就再也没有出现过这个异常

这篇关于FastDfs优化---解决RuntimeException: Unable to borrow buffer from pool问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/222188

相关文章

Springboot项目启动失败提示找不到dao类的解决

《Springboot项目启动失败提示找不到dao类的解决》SpringBoot启动失败,因ProductServiceImpl未正确注入ProductDao,原因:Dao未注册为Bean,解决:在启... 目录错误描述原因解决方法总结***************************APPLICA编

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

解决RocketMQ的幂等性问题

《解决RocketMQ的幂等性问题》重复消费因调用链路长、消息发送超时或消费者故障导致,通过生产者消息查询、Redis缓存及消费者唯一主键可以确保幂等性,避免重复处理,本文主要介绍了解决RocketM... 目录造成重复消费的原因解决方法生产者端消费者端代码实现造成重复消费的原因当系统的调用链路比较长的时

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

SpringBoot监控API请求耗时的6中解决解决方案

《SpringBoot监控API请求耗时的6中解决解决方案》本文介绍SpringBoot中记录API请求耗时的6种方案,包括手动埋点、AOP切面、拦截器、Filter、事件监听、Micrometer+... 目录1. 简介2.实战案例2.1 手动记录2.2 自定义AOP记录2.3 拦截器技术2.4 使用Fi

kkFileView启动报错:报错2003端口占用的问题及解决

《kkFileView启动报错:报错2003端口占用的问题及解决》kkFileView启动报错因office组件2003端口未关闭,解决:查杀占用端口的进程,终止Java进程,使用shutdown.s... 目录原因解决总结kkFileViewjavascript启动报错启动office组件失败,请检查of

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

SpringBoot 异常处理/自定义格式校验的问题实例详解

《SpringBoot异常处理/自定义格式校验的问题实例详解》文章探讨SpringBoot中自定义注解校验问题,区分参数级与类级约束触发的异常类型,建议通过@RestControllerAdvice... 目录1. 问题简要描述2. 异常触发1) 参数级别约束2) 类级别约束3. 异常处理1) 字段级别约束

java内存泄漏排查过程及解决

《java内存泄漏排查过程及解决》公司某服务内存持续增长,疑似内存泄漏,未触发OOM,排查方法包括检查JVM配置、分析GC执行状态、导出堆内存快照并用IDEAProfiler工具定位大对象及代码... 目录内存泄漏内存问题排查1.查看JVM内存配置2.分析gc是否正常执行3.导出 dump 各种工具分析4.

小白也能轻松上手! 路由器设置优化指南

《小白也能轻松上手!路由器设置优化指南》在日常生活中,我们常常会遇到WiFi网速慢的问题,这主要受到三个方面的影响,首要原因是WiFi产品的配置优化不合理,其次是硬件性能的不足,以及宽带线路本身的质... 在数字化时代,网络已成为生活必需品,追剧、游戏、办公、学习都离不开稳定高速的网络。但很多人面对新路由器