java内存溢出的排查记录

2024-08-31 20:48
文章标签 java 内存 记录 排查 溢出

本文主要是介绍java内存溢出的排查记录,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题

     背景:服务异常,交易无法发到服务器,经排查发现大量SYN_RECV,重启服务后交易正常。有大量CLOSE_WAIT、SYN_RECV连接,交易日志无增量输出,每次重启后不久服务又出现无法访问现象,反复重启3次后,截止发邮件时生产上仍有CLOSE_WAIT,CLOSE_WAIT、SYN_RECV许多连接为F5地址,怀疑可能由F5引起大量非正常连接,进而导致交易无法正常使用。console.log中出现java.lang.OutOfMemoryError

问题排查及分析

  1. 收集相关信息。确认异常,明确现象: 
    1. 大量close_wait:根据TCP三次握手建立通讯可以知道,这个一般是在服务端出现的。排除恶意攻击的情况,只会在客户端断开链接之后服务端未及时关闭链接时出现;具体流程见相关文章
    2. 内存溢出:java.lang.OutOfMemoryError: Java heap space ;该异常为内存不足,一般是程序问题导致的。
    3. 在JVM参数中新增下列参数,在JVM虚拟机发生内存溢出异常时,自动产生DUMP文件
    4. #当应用抛出 OutOfMemoryError 时自动生成dump文件

      -XX:+HeapDumpOnOutOfMemoryError

      #dump文件输出路径

      -XX:HeapDumpPath=/home/sunefrs/sunefrs.dump

    5. 从dump文件上看,Log4j占用了大量内存.其回根收节点见下图
  2. 分析当前可能引起异常现象的可能原因:
    1. 生产日志量很大,大部分为图片比对交易,交易报文一般在几百K到1、2M不等,暂未发现超大报文的情况。
    2. 有大量F5调用异常。
    3. dump文件显示:有大量内存被log4j占用了。很可能是因为日志打印问题。
  3. 确认可能原因是否成立:
    1. F5正常。不太可能是F5造成的
    2. 日志量很大,从dump文件分析有极大可能是由于log4j打印日志造成的
  4. 复现生产问题步骤:
    1. 使用jmeter进行压测。使用大报文模拟交易。
    2. 打开java visualVm 监控内存使用情况
    3. 打开console.log监控控制台日志
    4. 使用netstat命令监控close_wait情况【此处不放截图,仅说结论】:
      1. 60并发压测:屏蔽日志打印,垃圾回收正常,交易未出现问题
      2. 60并发压测:不屏蔽日志打印,垃圾无法及时回收,交易OOM,并出现大量close_wait【之前测试没出现是因为设置了Keep-Alive参数
  5. 问题原因分析:
    1. 从业务日志上看,交易报文比较大,在日志打印的时候会把字段打印出来如下:日志量将会是8倍,如果是2M图片,会写16M以上日志【这里取值有点问题,正常生成是会写8倍日志的】【补充说明:实际上还有16进制的日志打印也会有2次,比原图片还大的多图片未写出来】
    2. 再看log4j配置文件:日志是异步打印的。当交易量较大的时候。日志打印量会超级大,假设每次报文图片大小为2M,有每分钟20个请求,每分钟就会有320M以上的日志量。且目前生产log4j配置为两处输出,因此日志量*2也就是640M以上,加上其他交易的日志,日志量会非常大。
      【测试环境写磁盘速度大约为87.2MB/sec,考虑到还有日志压缩和其他系统的读写,程序写日志不会把写磁盘速度用满。因此会有大量日志停留在内存中。因此会造成内存溢出。内存溢出后程序直接卡死,不能正常处理交易且无法恢复】
  6. 验证分析:
    1. 单线程且间隔较大时间调用交易:交易正常内存正常回收
    2. 高并发调用交易:程序快速内存溢出
    3. 关闭日志:高并发内存快速释放,交易正常 

总结

         内存溢出原因为:日志打印量过大,占用了过多磁盘资源,写日志的速度跟不上新增待写日志速度导致。

         查内存溢出最重要的就是要找到是什么类占用了内存,为什么不能正常释放。明确了这两点。内存溢出问题就不难解决。

解决方案

  1. 推荐方案:使用log4j过滤器,屏蔽图片字段相关打印。移除多余的日志打
  2. 可选方案:分多个jvm处理类似大报文的交易,把这个jvm的log4j文件直接屏蔽日志。
  3. 可选方案:修改底层代码,调整日志打印方式。

参考文章

  1. TCP状态变更流程:https://www.cnblogs.com/qingergege/p/6603488.html

这篇关于java内存溢出的排查记录的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1124957

相关文章

Spring Boot配置和使用两个数据源的实现步骤

《SpringBoot配置和使用两个数据源的实现步骤》本文详解SpringBoot配置双数据源方法,包含配置文件设置、Bean创建、事务管理器配置及@Qualifier注解使用,强调主数据源标记、代... 目录Spring Boot配置和使用两个数据源技术背景实现步骤1. 配置数据源信息2. 创建数据源Be

Spring Boot 3.x 中 WebClient 示例详解析

《SpringBoot3.x中WebClient示例详解析》SpringBoot3.x中WebClient是响应式HTTP客户端,替代RestTemplate,支持异步非阻塞请求,涵盖GET... 目录Spring Boot 3.x 中 WebClient 全面详解及示例1. WebClient 简介2.

Java中使用 @Builder 注解的简单示例

《Java中使用@Builder注解的简单示例》@Builder简化构建但存在复杂性,需配合其他注解,导致可变性、抽象类型处理难题,链式编程非最佳实践,适合长期对象,避免与@Data混用,改用@G... 目录一、案例二、不足之处大多数同学使用 @Builder 无非就是为了链式编程,然而 @Builder

在IntelliJ IDEA中高效运行与调试Spring Boot项目的实战步骤

《在IntelliJIDEA中高效运行与调试SpringBoot项目的实战步骤》本章详解SpringBoot项目导入IntelliJIDEA的流程,教授运行与调试技巧,包括断点设置与变量查看,奠定... 目录引言:为良驹配上好鞍一、为何选择IntelliJ IDEA?二、实战:导入并运行你的第一个项目步骤1

Spring Boot从main方法到内嵌Tomcat的全过程(自动化流程)

《SpringBoot从main方法到内嵌Tomcat的全过程(自动化流程)》SpringBoot启动始于main方法,创建SpringApplication实例,初始化上下文,准备环境,刷新容器并... 目录1. 入口:main方法2. SpringApplication初始化2.1 构造阶段3. 运行阶

Spring Boot3.0新特性全面解析与应用实战

《SpringBoot3.0新特性全面解析与应用实战》SpringBoot3.0作为Spring生态系统的一个重要里程碑,带来了众多令人兴奋的新特性和改进,本文将深入解析SpringBoot3.0的... 目录核心变化概览Java版本要求提升迁移至Jakarta EE重要新特性详解1. Native Ima

Java中的xxl-job调度器线程池工作机制

《Java中的xxl-job调度器线程池工作机制》xxl-job通过快慢线程池分离短时与长时任务,动态降级超时任务至慢池,结合异步触发和资源隔离机制,提升高频调度的性能与稳定性,支撑高并发场景下的可靠... 目录⚙️ 一、调度器线程池的核心设计 二、线程池的工作流程 三、线程池配置参数与优化 四、总结:线程

Spring Boot 与微服务入门实战详细总结

《SpringBoot与微服务入门实战详细总结》本文讲解SpringBoot框架的核心特性如快速构建、自动配置、零XML与微服务架构的定义、演进及优缺点,涵盖开发环境准备和HelloWorld实战... 目录一、Spring Boot 核心概述二、微服务架构详解1. 微服务的定义与演进2. 微服务的优缺点三

我们来说说Java LockSupport 的 park 和 unpark

《我们来说说JavaLockSupport的park和unpark》LockSupport是JDK底层线程阻塞工具,通过park/unpark实现线程阻塞与唤醒,避免死锁,与Object的w... 目录一、LockSupport1.1、LockSupport函数列表1.2、基本使用先 park 再 unpa

SpringBoot集成MyBatis实现SQL拦截器的实战指南

《SpringBoot集成MyBatis实现SQL拦截器的实战指南》这篇文章主要为大家详细介绍了SpringBoot集成MyBatis实现SQL拦截器的相关知识,文中的示例代码讲解详细,有需要的小伙伴... 目录一、为什么需要SQL拦截器?二、MyBATis拦截器基础2.1 核心接口:Interceptor