easypoi大量数据导出,解决oom的问题,分多个sheet导出

2024-08-21 09:36

本文主要是介绍easypoi大量数据导出,解决oom的问题,分多个sheet导出,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用easypoi一次性导出大量数据时,会出现oom的问题,有两种解决方式,一种是分页导出,数据查询使用分页,然后将分页的数据放到不同的sheet中;第二种呢就是使用SXSSFWorkbook,SXSSFWorkbook可以实现百万级数据导出。

分页导出

分页导出呢,就比较麻烦一点。

分页的方式两两种,需要实现的效果都是为了将全部数据分开放到多个sheet。所以这些数据你可以一次性全部查询出来,再对数据进行分页放到不同sheet中;也可以分页查询数据,将查出来的数据放到不同sheet中。

看自己觉得哪一种方法更好一点,我自己用的是分页查询数据的方式:

/*** 列表导出*/
public void pageExport(Map<String,Object> map, HttpServletResponse response){int pageSize = 10000; // 一万条数据一个sheetint pageNum = 1;map.put("pageSize",String.valueOf(pageSize));map.put("pageNum",String.valueOf(pageNum));PageInfo<SysUser> page = page(map); // 分页查询数据long total = page.getTotal(); // 得到总数据量List<SysUser> list1 = page.getList();// 计算总页数pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);// 每一个sheet储存的数据List<Map<String, Object>> sheetsList = new LinkedList<>();// 设置sheet配置样式ExportParams params = new ExportParams(null,"Sheet1",ExcelType.XSSF);params.setTitleHeight((short) 12);params.setStyle(ExcelStyleUtil.class); // 设置基础样式,ExcelStyleUtil为自定义的样式工具类// 以下3个参数为API中写死的参数名 分别是sheet配置/导出类(注解定义)/数据集Map<String, Object> exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",params).put("entity", SysUser.class).put("data", list1).build();sheetsList.add(exportMap);for (int i = 2; i <= pageNum; i++) {map.put("pageNum",String.valueOf(i));List<SysUser> listi = page(map).getList();ExportParams param = new ExportParams(null,"Sheet"+i,ExcelType.XSSF);param.setTitleHeight((short) 12);param.setStyle(ExcelStyleUtil.class);exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",param).put("entity", SysUser.class).put("data", listi).build();// 加入多sheet配置列表sheetsList.add(exportMap);}Workbook workbook = ExcelExportUtil.exportExcel(sheetsList, ExcelType.XSSF);ExcelUtil.downLoadExcel("列表数据",response,workbook);
}

虽然上面这段代码能实现导出了,不会报oom了,但是导出还是很慢很慢,当然,数据库查询慢占主要原因。

使用SXSSFWorkbook

第二种方式呢,就没有那么麻烦了,不用分页,一次性在一张sheet里,导出全部数据。

查询数据的时候,同样可以选择分页查询或一次性查询,分页查询就需要将每一页查出来的数据先存起来,等查完了全部数据,再调导出的方法。

/*** 列表导出*/
public void pageExport(Map<String,Object> map, HttpServletResponse response){int pageSize = 10000;int pageNum = 1;map.put("pageSize",String.valueOf(pageSize));map.put("pageNum",String.valueOf(pageNum));PageInfo<SysUser> page = page(map);long total = page.getTotal();pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);List<SysUser> dataList = new ArrayList<>();dataList.addAll(page.getList());for (int i = 2; i <= pageNum; i++) {map.put("pageNum",String.valueOf(i));List<SysUser> list = page(map).getList();dataList.addAll(list);}ExcelUtil.exportBigExcel(dataList,null,"Sheet1",SysUser.class,"列表导出",response);
}
/*** excel 导出大数据* @param list           数据* @param title          标题* @param sheetName      sheet名称* @param pojoClass      pojo类型* @param fileName       文件名称*/
public static void exportBigExcel(List<?> list, String title, String sheetName, Class<?> pojoClass, String fileName, HttpServletResponse response){ExportParams params = new ExportParams(title,sheetName, ExcelType.XSSF);params.setTitleHeight((short) 12);params.setStyle(ExcelStyleUtil.class);IWriter<Workbook> writer = ExcelExportUtil.exportBigExcel(params, pojoClass);writer.write(list);SXSSFWorkbook workbook = (SXSSFWorkbook) writer.get();ExcelUtil.downLoadExcel(fileName,response,workbook);writer.close();workbook.dispose();
}

最后我选择的是用第二种方式SXSSFWorkbook导出。

这篇关于easypoi大量数据导出,解决oom的问题,分多个sheet导出的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1092789

相关文章

Android 12解决push framework.jar无法开机的方法小结

《Android12解决pushframework.jar无法开机的方法小结》:本文主要介绍在Android12中解决pushframework.jar无法开机的方法,包括编译指令、框架层和s... 目录1. android 编译指令1.1 framework层的编译指令1.2 替换framework.ja

MySQL主从同步延迟问题的全面解决方案

《MySQL主从同步延迟问题的全面解决方案》MySQL主从同步延迟是分布式数据库系统中的常见问题,会导致从库读取到过期数据,影响业务一致性,下面我将深入分析延迟原因并提供多层次的解决方案,需要的朋友可... 目录一、同步延迟原因深度分析1.1 主从复制原理回顾1.2 延迟产生的关键环节二、实时监控与诊断方案

SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法

《SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法》在SQLyog中执行存储过程时出现的前置缩进问题,实际上反映了SQLyog对SQL语句解析的一个特殊行为,本文给大家介绍了详... 目录问题根源正确写法示例永久解决方案为什么命令行不受影响?最佳实践建议问题根源SQLyog的语句分

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例

解决IDEA报错:编码GBK的不可映射字符问题

《解决IDEA报错:编码GBK的不可映射字符问题》:本文主要介绍解决IDEA报错:编码GBK的不可映射字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录IDEA报错:编码GBK的不可映射字符终端软件问题描述原因分析解决方案方法1:将命令改为方法2:右下jav

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

MyBatis模糊查询报错:ParserException: not supported.pos 问题解决

《MyBatis模糊查询报错:ParserException:notsupported.pos问题解决》本文主要介绍了MyBatis模糊查询报错:ParserException:notsuppo... 目录问题描述问题根源错误SQL解析逻辑深层原因分析三种解决方案方案一:使用CONCAT函数(推荐)方案二:

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息