一个性能瓶颈分析的过程(一个牛人的性能测试分析思路、拜读)

2023-12-06 10:48

本文主要是介绍一个性能瓶颈分析的过程(一个牛人的性能测试分析思路、拜读),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前段时间公司打造了自己的WEB开发框架新版,性能比以前的两个版有很大提高。在性能基准测试时,某个测试的业务场景为

18000个TPS左右。

但是后来增加了session序列化模块后,一下子下降低到6000个TPS左右,就是因为这个模块性能一下子降低三倍。

jvisulevm监视查看到其中的加密方法占用了47%的CPU处理时间,于是重点测试这个方法。

这个方法做了三件事。

1.加密,

2.压缩,

3.base64编码成可见字符

加密过程虽然消耗了一定的系统资源,但经百万次循环测试性能是可以接受的。

BASE64这个可以放心,测试过N次了。

于是测试压缩算法,单线程1万次循环时耗时在秒级,我想1百万次也就应该是两三分钟吧。

结果一跑以后,系统差点死掉,响应非常慢,看看后台非JAVA线程在十几秒内竟然一下子吃掉10G的内存,大量的磁盘交换产生。

不用说,肯定是有内存泄漏,生产系统中是因为采用CMS策略来进行GC的。因为不断进行回收,所以不会出现瞬间内存都被吃光的

情况。但是对于依赖finalize来做回收的情况,虽然对象最终会被回收,但利用率大大地打了下降了。

这是最简单的道理,就比如一个连接,在finalize中调用了close()方法,你即使不手工调用 close()方法它最后也被回收了,但它

利用率却下降低了好多倍,假设系统只允许1个连接,从产生到JVM回到它的过程是1秒,那么在1秒内如果你每次只使用100ms,然后手工close(),那么其它线程有9次机会重新产生连接,而如果利用finalize在1秒内只有一次使用机会,这还是因为CMS策略的GC,如果是

暂停式GC策略,利用率将打更大的折扣。

所以最终关注压缩的代码,其实只有三行:

DeflaterOutputSream dos = new DeflaterOutputSream(byteArrayOutputStream,new Deflater(Deflater.BSET_ COMPRESSION,false));

ObjectOutputStream out = new ObjectOutputStream (dos);

out.write(加密数据);

byte[] data = byteArrayOutputStream.toByteArray();

//close等收尾工作。

对于输出流这种常规操作,打造平台的大牛们不可能犯低级错误,而大量的内存泄漏应该和压缩参数无关,于是直接分析

Deflater类(因为之前大多数是直接使用GZipOutputStream,对Deflater类本身并不是很熟悉)。发现文档中有对于end方法的说明是:

end

public void end()

    关闭解压缩器并放弃所有未处理的输入。此方法应该在不再使用该压缩器时调用,但是也可以由 finalize() 方法自动调用。调用此方法后,Deflater 对象的行为将是不确定的。

其实jdk自己的例子就给人一个误导:

 // Encode a String into bytes
 String inputString = "blahblahblah??";
 byte[] input = inputString.getBytes("UTF-8");

 // Compress the bytes
 byte[] output = new byte[100];
 Deflater compresser = new Deflater();
 compresser.setInput(input);
 .finish();
 int compressedDataLength = compresser.deflate(output);

 // Decompress the bytes
 Inflater decompresser = new Inflater();
 decompresser.setInput(output, 0, compressedDataLength);
 byte[] result = new byte[100];
 int resultLength = decompresser.inflate(result);
 decompresser.end();

 // Decode the bytes into a String
 String outputString = new String(result, 0, resultLength, "UTF-8");

在这个例子中,压缩的代码并没有调用compresser.end,因为仅调用一次,最后肯定会在对象被回收时调用finalize来调用end();

这在偶尔调用一两次的情况下也没有大问题。

另外,对于DeflaterOutputSream构造方法中,如果你没有传入Deflater,它自己new了一个Deflater,并使用useDefaultDeflater标记来

在close()中调用Deflater的end(),但如果是你自己传入的Deflater,因为可能在外部会多次复用,本着谁生产谁负责的原则,它没有为你调用

end()。

凡是在finalize中调用方法说明一定要保证被回收,而在密集调情况下一定不能依赖finalize,上面已经说过道理。所以一定要在用完后立即调用它以“尽早地立即回收”。所以这里应该有一个手工调用的参与,于是修改为:

Deflater def = new Deflater(Deflater.BSET_ COMPRESSION,false);

DeflaterOutputSream dos = new DeflaterOutputSream(byteArrayOutputStream,def);

ObjectOutputStream out = new ObjectOutputStream (dos);

out.write(加密数据);

byte[] data = byteArrayOutputStream.toByteArray();

在finally语句中执行{

def.end();

close();

}

 

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/axman/archive/2010/05/14/5591301.aspx

这篇关于一个性能瓶颈分析的过程(一个牛人的性能测试分析思路、拜读)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/461550

相关文章

oracle 11g导入\导出(expdp impdp)之导入过程

《oracle11g导入导出(expdpimpdp)之导入过程》导出需使用SEC.DMP格式,无分号;建立expdir目录(E:/exp)并确保存在;导入在cmd下执行,需sys用户权限;若需修... 目录准备文件导入(impdp)1、建立directory2、导入语句 3、更改密码总结上一个环节,我们讲了

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Java Kafka消费者实现过程

《JavaKafka消费者实现过程》Kafka消费者通过KafkaConsumer类实现,核心机制包括偏移量管理、消费者组协调、批量拉取消息及多线程处理,手动提交offset确保数据可靠性,自动提交... 目录基础KafkaConsumer类分析关键代码与核心算法2.1 订阅与分区分配2.2 拉取消息2.3

深度剖析SpringBoot日志性能提升的原因与解决

《深度剖析SpringBoot日志性能提升的原因与解决》日志记录本该是辅助工具,却为何成了性能瓶颈,SpringBoot如何用代码彻底破解日志导致的高延迟问题,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言第一章:日志性能陷阱的底层原理1.1 日志级别的“双刃剑”效应1.2 同步日志的“吞吐量杀手”

AOP编程的基本概念与idea编辑器的配合体验过程

《AOP编程的基本概念与idea编辑器的配合体验过程》文章简要介绍了AOP基础概念,包括Before/Around通知、PointCut切入点、Advice通知体、JoinPoint连接点等,说明它们... 目录BeforeAroundAdvise — 通知PointCut — 切入点Acpect — 切面

C++ STL-string类底层实现过程

《C++STL-string类底层实现过程》本文实现了一个简易的string类,涵盖动态数组存储、深拷贝机制、迭代器支持、容量调整、字符串修改、运算符重载等功能,模拟标准string核心特性,重点强... 目录实现框架一、默认成员函数1.默认构造函数2.构造函数3.拷贝构造函数(重点)4.赋值运算符重载函数

MySQ中出现幻读问题的解决过程

《MySQ中出现幻读问题的解决过程》文章解析MySQLInnoDB通过MVCC与间隙锁机制在可重复读隔离级别下解决幻读,确保事务一致性,同时指出性能影响及乐观锁等替代方案,帮助开发者优化数据库应用... 目录一、幻读的准确定义与核心特征幻读 vs 不可重复读二、mysql隔离级别深度解析各隔离级别的实现差异

Nginx添加内置模块过程

《Nginx添加内置模块过程》文章指导如何检查并添加Nginx的with-http_gzip_static模块:确认该模块未默认安装后,需下载同版本源码重新编译,备份替换原有二进制文件,最后重启服务验... 目录1、查看Nginx已编辑的模块2、Nginx官网查看内置模块3、停止Nginx服务4、Nginx