动态代理导致的Metaspace OOM(元空间内存溢出)问题

2024-04-16 05:28

本文主要是介绍动态代理导致的Metaspace OOM(元空间内存溢出)问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

个人博客地址:https://blog.flycat.tech/archives/1710866783664

背景

我们团队的一个项目,测试环境最近隔三岔五报错,虽然不是生产环境,但既然有报错那还是得排查下,以免带到了生产环境导致事故。

登录上测试环境服务器,查了下日志,发现是Metaspace内存溢出。

image.png

思路

1、首先我们知道,JDK1.8的Metaspace是在堆外内存的,那么堆分析神器MAT在此案例中没有用武之地;
2、Metaspace中存放的内容包括类结构信息、常量池(编译时字面量等)、字节码等等
3、内存溢出是运行时发生的,考虑到大量的框架用到了动态代理生成字节码等技术,可以将关注点放在生成了大量的类上面
4、由于测试环境是偶尔发生,说明需要请求积累到一定的量才会发生,本地调试直接调对应报错的接口的话可能没法复现出来,此时可以使用postman或jmeter等进行简单压测

复现

因为是测试环境,直接拉test分支在本地跑就好了,使用jmeter调用报错接口,设置20个并发进行压测。
打开Visual VM工具,连接到对应进程,在压测过程中,虽然没有发生Metaspace内存溢出,但是发现Metaspace确实一直在上涨。

CleanShot 2024-03-20 at 00.37.05@2x.png

排查

JDK1.8的Metaspace区域是保存字面量和符号引用字面量就是类中的字符串常量,符号引用就是类元数据信息,父类、接口、属性、方法名等,那么首先排查是否有大量动态代理类加载。

应用启动变量增加几个参数:

-XX:MetaspaceSize=128m
-XX:MaxMetaspaceSize=256m
-XX:+TraceClassLoading
-XX:+TraceClassUnloading

继续对接口进行压测,一开始有一大堆乱七八糟的日志信息,不过继续压了一会以后,日志中频繁出现了一个代理类的加载信息:com.alibaba.fastjson.serializer.ASMSerializer_1_RespResult

CleanShot 2024-03-20 at 00.35.55@2x.png

因此可以确定是代理类 com.alibaba.fastjson.serializer.ASMSerializer_1_RespResult加载太多次问题,此时基本可以锁定是fastjson使用方式错误问题。

找到fastjson依赖包下找到 com.alibaba.fastjson.serializer路径,发现有一个ASMSerializerFactory的类,在这个类中搜索ASMSerializer_关键字,发现类名生成规则如下:

String className = "ASMSerializer_" + seed.incrementAndGet() + "_" + clazz.getSimpleName();

跟加载的类完全吻合。打上条件断点调接口,根据debug堆栈信息发现是引入的公司内部开发的链路追踪组件包,其实现了ResponseBodyAdvice在结果返回之前拦截,对数据进行脱敏后记录在链路追踪上下文中。

搜下整个链路使用fastjson的情况(可以使用打断点方式),定位到有一处不正规使用方式:

CleanShot 2024-03-20 at 00.40.00.png

CleanShot 2024-03-20 at 00.41.24.png

使用fastjson的SerializeConfig。SerializeConfig创建时默认会创建一个ASM代理类用来实现对目标对象的序列化。也就是上面被频繁创建的类 com.alibaba.fastjson.serializer.ASMSerializer_1_RespResult,如果我们复用SerializeConfig,fastjson会去寻找已经创建的代理类,
从而复用。但是如果new SerializeConfig(),则找不到原来生成的代理类,就会一直去生成新的RespResult代理类。

new SerializeConfig构造方法

修复方案

改成只初始化一次SerializeConfig即可

结论

  1. fastjson的SerializeConfig自定义类的序列化方式有坑,请注意。
  2. 对于使用了ASM等字节码增强工具的类库,在使用他们时请多加小心(尤其是JDK1.8以后)

这篇关于动态代理导致的Metaspace OOM(元空间内存溢出)问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/907900

相关文章

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

解决RocketMQ的幂等性问题

《解决RocketMQ的幂等性问题》重复消费因调用链路长、消息发送超时或消费者故障导致,通过生产者消息查询、Redis缓存及消费者唯一主键可以确保幂等性,避免重复处理,本文主要介绍了解决RocketM... 目录造成重复消费的原因解决方法生产者端消费者端代码实现造成重复消费的原因当系统的调用链路比较长的时

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

最新Spring Security的基于内存用户认证方式

《最新SpringSecurity的基于内存用户认证方式》本文讲解SpringSecurity内存认证配置,适用于开发、测试等场景,通过代码创建用户及权限管理,支持密码加密,虽简单但不持久化,生产环... 目录1. 前言2. 因何选择内存认证?3. 基础配置实战❶ 创建Spring Security配置文件

kkFileView启动报错:报错2003端口占用的问题及解决

《kkFileView启动报错:报错2003端口占用的问题及解决》kkFileView启动报错因office组件2003端口未关闭,解决:查杀占用端口的进程,终止Java进程,使用shutdown.s... 目录原因解决总结kkFileViewjavascript启动报错启动office组件失败,请检查of

go动态限制并发数量的实现示例

《go动态限制并发数量的实现示例》本文主要介绍了Go并发控制方法,通过带缓冲通道和第三方库实现并发数量限制,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录带有缓冲大小的通道使用第三方库其他控制并发的方法因为go从语言层面支持并发,所以面试百分百会问到

SpringBoot 异常处理/自定义格式校验的问题实例详解

《SpringBoot异常处理/自定义格式校验的问题实例详解》文章探讨SpringBoot中自定义注解校验问题,区分参数级与类级约束触发的异常类型,建议通过@RestControllerAdvice... 目录1. 问题简要描述2. 异常触发1) 参数级别约束2) 类级别约束3. 异常处理1) 字段级别约束

java内存泄漏排查过程及解决

《java内存泄漏排查过程及解决》公司某服务内存持续增长,疑似内存泄漏,未触发OOM,排查方法包括检查JVM配置、分析GC执行状态、导出堆内存快照并用IDEAProfiler工具定位大对象及代码... 目录内存泄漏内存问题排查1.查看JVM内存配置2.分析gc是否正常执行3.导出 dump 各种工具分析4.

Python错误AttributeError: 'NoneType' object has no attribute问题的彻底解决方法

《Python错误AttributeError:NoneTypeobjecthasnoattribute问题的彻底解决方法》在Python项目开发和调试过程中,经常会碰到这样一个异常信息... 目录问题背景与概述错误解读:AttributeError: 'NoneType' object has no at