Java 执行 JVM Native 方法导致内存碎片

2024-04-24 08:36

本文主要是介绍Java 执行 JVM Native 方法导致内存碎片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景🚞

由于需要调用到 C/C++ 的业务对外,使用了 Java 来封装 SDK 进行调用。
事故起因⚡:当 Java 使用 JNI 发生调用 JVM Native 本地方法时,发现内存一直飙升发生 OOM。

操作复现🔍

使用 Jmeter 进行压测高并发环境
1)当 Java 调用 C 时开辟一段内存空间,紧接着再次调用 C 释放内存空间,内存正常。
2)当 Java 调用 C 时开辟一段内存空间时,不进行释放,待多线程开辟大量内存空间,再度批量释放(批量释放的代码就是 for 循环调用 C 提供的方法释放,跟情况 1 释放方法逻辑一致)
发现第二种方法内存释放完后依旧不降,内存无法释放的情况,发生 OOM。

参考帖子📑:

1)https://segmentfault.com/a/1190000042015931?sort=newest

2)https://juejin.cn/post/7255634554987020343#heading-19

3)https://juejin.cn/post/7241395886856880165

最终排查得出🔥

是 Linux 操作系统默认使用的内存分配器是 ptmalloc2,该内存分配器内部有一个内存池,ptmalloc2 在高并发分配内存时,会存在较多内存碎片无法释放的情况,碎片积压到一定程度甚至会导致进程内存不够用,最终OOM。

解决方法🍑

替换内存分配器为 google 的 tcmalloc 或 facebook 的 jemalloc

将内存分配器的库打包到项目部署包中,再用 export LD_PRELOAD 指定函数库

Dockerfile 编写💡

RUN yum upgrade -y; yum group install -y "Development Tools"; \yum install -y wget tcl which zlib-devel git docbook-xsl libxslt graphviz; \yum clean all
RUN mkdir -p /opt && cd /opt && git clone https://github.com/jemalloc/jemalloc.git \&& mkdir /tmp/jprof && mkdir /tmp/nmt && mkdir /tmp/pmap \&& mkdir /diagnosticRUN cd /opt/jemalloc && git checkout -b stable-4 origin/stable-4
RUN cd /opt/jemalloc && ./autogen.sh --enable-prof
RUN cd /opt/jemalloc && make dist
RUN cd /opt/jemalloc && make
RUN cd /opt/jemalloc && make installENV LD_PRELOAD="/usr/local/lib/libjemalloc.so"
ENV MALLOC_CONF="prof_leak:true,prof:true,lg_prof_interval:25,lg_prof_sample:18,prof_prefix:/tmp/jeprof"

这篇关于Java 执行 JVM Native 方法导致内存碎片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/931255

相关文章

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

Mac系统下卸载JAVA和JDK的步骤

《Mac系统下卸载JAVA和JDK的步骤》JDK是Java语言的软件开发工具包,它提供了开发和运行Java应用程序所需的工具、库和资源,:本文主要介绍Mac系统下卸载JAVA和JDK的相关资料,需... 目录1. 卸载系统自带的 Java 版本检查当前 Java 版本通过命令卸载系统 Java2. 卸载自定

springboot下载接口限速功能实现

《springboot下载接口限速功能实现》通过Redis统计并发数动态调整每个用户带宽,核心逻辑为每秒读取并发送限定数据量,防止单用户占用过多资源,确保整体下载均衡且高效,本文给大家介绍spring... 目录 一、整体目标 二、涉及的主要类/方法✅ 三、核心流程图解(简化) 四、关键代码详解1️⃣ 设置

Java Spring ApplicationEvent 代码示例解析

《JavaSpringApplicationEvent代码示例解析》本文解析了Spring事件机制,涵盖核心概念(发布-订阅/观察者模式)、代码实现(事件定义、发布、监听)及高级应用(异步处理、... 目录一、Spring 事件机制核心概念1. 事件驱动架构模型2. 核心组件二、代码示例解析1. 事件定义

SpringMVC高效获取JavaBean对象指南

《SpringMVC高效获取JavaBean对象指南》SpringMVC通过数据绑定自动将请求参数映射到JavaBean,支持表单、URL及JSON数据,需用@ModelAttribute、@Requ... 目录Spring MVC 获取 JavaBean 对象指南核心机制:数据绑定实现步骤1. 定义 Ja

Python中提取文件名扩展名的多种方法实现

《Python中提取文件名扩展名的多种方法实现》在Python编程中,经常会遇到需要从文件名中提取扩展名的场景,Python提供了多种方法来实现这一功能,不同方法适用于不同的场景和需求,包括os.pa... 目录技术背景实现步骤方法一:使用os.path.splitext方法二:使用pathlib模块方法三

javax.net.ssl.SSLHandshakeException:异常原因及解决方案

《javax.net.ssl.SSLHandshakeException:异常原因及解决方案》javax.net.ssl.SSLHandshakeException是一个SSL握手异常,通常在建立SS... 目录报错原因在程序中绕过服务器的安全验证注意点最后多说一句报错原因一般出现这种问题是因为目标服务器

Python打印对象所有属性和值的方法小结

《Python打印对象所有属性和值的方法小结》在Python开发过程中,调试代码时经常需要查看对象的当前状态,也就是对象的所有属性和对应的值,然而,Python并没有像PHP的print_r那样直接提... 目录python中打印对象所有属性和值的方法实现步骤1. 使用vars()和pprint()2. 使

CSS实现元素撑满剩余空间的五种方法

《CSS实现元素撑满剩余空间的五种方法》在日常开发中,我们经常需要让某个元素占据容器的剩余空间,本文将介绍5种不同的方法来实现这个需求,并分析各种方法的优缺点,感兴趣的朋友一起看看吧... css实现元素撑满剩余空间的5种方法 在日常开发中,我们经常需要让某个元素占据容器的剩余空间。这是一个常见的布局需求

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja