Spring Data JPA 性能优化之 findAll

2023-12-31 20:44

本文主要是介绍Spring Data JPA 性能优化之 findAll,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

优化场景描述

当时是测试环境,进行一个列表的初始化分页查询,pageSize 为8(已经很小了),页面的数据项也很少,就那么几个信息,但是性能压测通过不了。

提出性能问题假设

事关性能问题,我们不妨大胆的假设:

  • pageSize只有8,会不会是返回的数据包含的信息量太大,网络IO顶不住?
  • 接口会不会有第三方的调用,有等待延迟?
  • 接口内部的查询逻辑会不会过于复杂,需要多表且多次查询?
  • 数据库数据量太大,查询是否命中索引或是否需要索引?
  • 查询的SQL语句是否有不合理需要优化的地方?

按假设逐一排查

1、pageSize只有8,会不会是返回的数据包含的信息量太大,网络IO顶不住?

在查询页面,打开F12,查看接口的返回数据,不难发现返回的List列表里面层层嵌套了不少List列表(案例只嵌套了一层,不过有3个嵌套),且嵌套在内部的数据量还不小。

结论:有可能是信息量太大

2、接口会不会有第三方的调用,有等待延迟?

进入接口内部,没有发现第三方的调用,就不存在等待延迟。

结论:排除可能。

3、接口内部的查询逻辑会不会过于复杂,需要多表且多次查询?

进入接口内部,逻辑很清晰,就是一个单表的分页查询。

结论:排除可能。

4、数据库数据量太大,查询是否命中索引或是否需要索引?

测试环境的数据量算很小了,索引不索引的,不应该是影响性能的主要原因。

结论:排除可能。

5、查询的SQL语句是否有不合理需要优化的地方?

接口采用的Spring Data JPA 的findAll 分页查询,属于JPA的东西,应该不会有太大的性能问题吧。

结论:JPA的findAll 查询有可能有性能问题

那么最有可能的就是1和5了,那就进一步排查。

因为返回值存在List的层层嵌套,而接口又是一个单表查询,这是不是有点矛盾?那么朝矛盾点进发,打开对应的类对象,仔细一看,好家伙,嵌套的List 对象上各自添加了 @OneToMany、@ManyToMany、@ManyToOne 注解,注解让我们查询的表与其他表进行了级联操作。findAll 方法会去查询关联表的信息。3个级联关系,再查询3次SQL,性能差距也不能这么差吧。于是我再去看findAll 方法执行时的日志,不看不知道,一看吓一跳。findAll 方法执行了很多次的查询,经我观察发现,关联表相关的数据量越大,查询的次数就越多(根源问题找到了:SQL的多次执行)。

结论:因为对象的级联关系,导致 findAll 会自动查询关联表(多次查询)的信息并进行数据封装,导致数据库压力大,造成性能问题。

优化分析

  • 从业务需求方面:
    是否需要级联查询的关联数据,如果不需要,去掉级联查询。

  • 从网络IO方面:
    返回的冗余数据量过多,需要剔除冗余数据量。

  • 从SQL方面:
    发现findAll 方法会因为关联数据增多,而新增查询语句,导致多次查询。因此决定自行写SQL。

  • 从缓存方面:
    如果没有冗余数据,也采用了SQL优化的方法,但还是慢,则要考虑redis缓存了。

解决措施

  • 从业务需求方面:
    List的嵌套数据确实是多余的,可以去掉级联查询到的多余List。

  • 从网络IO方面:
    返回值对象重新封装一下,只返回需要返回的数据。

  • 从SQL方面:(分页查询返回的Page)
    采用 nativeQuery = true 自行编写sql的方式,但是不能返回 Page,这样会触发级联查询。因此用 Page<Map<String, Object>> 对象接受查询的返回值(跟踪日志发现,接口查询只进行了一次SQL查询),并做map 的List处理, 用JSON.parseArray(JSON.toJSONString(List对象), 类对象名.class) 处理得到想要的List对象。

小结:当类对象存在 @OneToMany、@ManyToMany、@ManyToOne 等注解时,要特别注意,findAll(@Nullable Specification var1, Pageable var2) 返回的 Page< T > 会自行进行级联查询并数据封装。使用自定义的查询(nativeQuery = true)并返回 Page<Map<String, Object>> 对象就可以避免级联查询。

这篇关于Spring Data JPA 性能优化之 findAll的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/557101

相关文章

javax.net.ssl.SSLHandshakeException:异常原因及解决方案

《javax.net.ssl.SSLHandshakeException:异常原因及解决方案》javax.net.ssl.SSLHandshakeException是一个SSL握手异常,通常在建立SS... 目录报错原因在程序中绕过服务器的安全验证注意点最后多说一句报错原因一般出现这种问题是因为目标服务器

Java实现删除文件中的指定内容

《Java实现删除文件中的指定内容》在日常开发中,经常需要对文本文件进行批量处理,其中,删除文件中指定内容是最常见的需求之一,下面我们就来看看如何使用java实现删除文件中的指定内容吧... 目录1. 项目背景详细介绍2. 项目需求详细介绍2.1 功能需求2.2 非功能需求3. 相关技术详细介绍3.1 Ja

springboot项目中整合高德地图的实践

《springboot项目中整合高德地图的实践》:本文主要介绍springboot项目中整合高德地图的实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一:高德开放平台的使用二:创建数据库(我是用的是mysql)三:Springboot所需的依赖(根据你的需求再

spring中的ImportSelector接口示例详解

《spring中的ImportSelector接口示例详解》Spring的ImportSelector接口用于动态选择配置类,实现条件化和模块化配置,关键方法selectImports根据注解信息返回... 目录一、核心作用二、关键方法三、扩展功能四、使用示例五、工作原理六、应用场景七、自定义实现Impor

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

Java对异常的认识与异常的处理小结

《Java对异常的认识与异常的处理小结》Java程序在运行时可能出现的错误或非正常情况称为异常,下面给大家介绍Java对异常的认识与异常的处理,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参... 目录一、认识异常与异常类型。二、异常的处理三、总结 一、认识异常与异常类型。(1)简单定义-什么是

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.