easypoi大量数据导出,解决oom的问题,分多个sheet导出

2024-08-21 09:36

本文主要是介绍easypoi大量数据导出,解决oom的问题,分多个sheet导出,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用easypoi一次性导出大量数据时,会出现oom的问题,有两种解决方式,一种是分页导出,数据查询使用分页,然后将分页的数据放到不同的sheet中;第二种呢就是使用SXSSFWorkbook,SXSSFWorkbook可以实现百万级数据导出。

分页导出

分页导出呢,就比较麻烦一点。

分页的方式两两种,需要实现的效果都是为了将全部数据分开放到多个sheet。所以这些数据你可以一次性全部查询出来,再对数据进行分页放到不同sheet中;也可以分页查询数据,将查出来的数据放到不同sheet中。

看自己觉得哪一种方法更好一点,我自己用的是分页查询数据的方式:

/*** 列表导出*/
public void pageExport(Map<String,Object> map, HttpServletResponse response){int pageSize = 10000; // 一万条数据一个sheetint pageNum = 1;map.put("pageSize",String.valueOf(pageSize));map.put("pageNum",String.valueOf(pageNum));PageInfo<SysUser> page = page(map); // 分页查询数据long total = page.getTotal(); // 得到总数据量List<SysUser> list1 = page.getList();// 计算总页数pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);// 每一个sheet储存的数据List<Map<String, Object>> sheetsList = new LinkedList<>();// 设置sheet配置样式ExportParams params = new ExportParams(null,"Sheet1",ExcelType.XSSF);params.setTitleHeight((short) 12);params.setStyle(ExcelStyleUtil.class); // 设置基础样式,ExcelStyleUtil为自定义的样式工具类// 以下3个参数为API中写死的参数名 分别是sheet配置/导出类(注解定义)/数据集Map<String, Object> exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",params).put("entity", SysUser.class).put("data", list1).build();sheetsList.add(exportMap);for (int i = 2; i <= pageNum; i++) {map.put("pageNum",String.valueOf(i));List<SysUser> listi = page(map).getList();ExportParams param = new ExportParams(null,"Sheet"+i,ExcelType.XSSF);param.setTitleHeight((short) 12);param.setStyle(ExcelStyleUtil.class);exportMap = MapUtil.builder(new HashMap<String, Object>()).put("title",param).put("entity", SysUser.class).put("data", listi).build();// 加入多sheet配置列表sheetsList.add(exportMap);}Workbook workbook = ExcelExportUtil.exportExcel(sheetsList, ExcelType.XSSF);ExcelUtil.downLoadExcel("列表数据",response,workbook);
}

虽然上面这段代码能实现导出了,不会报oom了,但是导出还是很慢很慢,当然,数据库查询慢占主要原因。

使用SXSSFWorkbook

第二种方式呢,就没有那么麻烦了,不用分页,一次性在一张sheet里,导出全部数据。

查询数据的时候,同样可以选择分页查询或一次性查询,分页查询就需要将每一页查出来的数据先存起来,等查完了全部数据,再调导出的方法。

/*** 列表导出*/
public void pageExport(Map<String,Object> map, HttpServletResponse response){int pageSize = 10000;int pageNum = 1;map.put("pageSize",String.valueOf(pageSize));map.put("pageNum",String.valueOf(pageNum));PageInfo<SysUser> page = page(map);long total = page.getTotal();pageNum = (int) (total % pageSize == 0 ? total / pageSize : total / pageSize + 1);List<SysUser> dataList = new ArrayList<>();dataList.addAll(page.getList());for (int i = 2; i <= pageNum; i++) {map.put("pageNum",String.valueOf(i));List<SysUser> list = page(map).getList();dataList.addAll(list);}ExcelUtil.exportBigExcel(dataList,null,"Sheet1",SysUser.class,"列表导出",response);
}
/*** excel 导出大数据* @param list           数据* @param title          标题* @param sheetName      sheet名称* @param pojoClass      pojo类型* @param fileName       文件名称*/
public static void exportBigExcel(List<?> list, String title, String sheetName, Class<?> pojoClass, String fileName, HttpServletResponse response){ExportParams params = new ExportParams(title,sheetName, ExcelType.XSSF);params.setTitleHeight((short) 12);params.setStyle(ExcelStyleUtil.class);IWriter<Workbook> writer = ExcelExportUtil.exportBigExcel(params, pojoClass);writer.write(list);SXSSFWorkbook workbook = (SXSSFWorkbook) writer.get();ExcelUtil.downLoadExcel(fileName,response,workbook);writer.close();workbook.dispose();
}

最后我选择的是用第二种方式SXSSFWorkbook导出。

这篇关于easypoi大量数据导出,解决oom的问题,分多个sheet导出的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1092789

相关文章

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

Java easyExcel实现导入多sheet的Excel

《JavaeasyExcel实现导入多sheet的Excel》这篇文章主要为大家详细介绍了如何使用JavaeasyExcel实现导入多sheet的Excel,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录1.官网2.Excel样式3.代码1.官网easyExcel官网2.Excel样式3.代码

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言:为什么会有索引键长度问题?一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决

Springboot如何正确使用AOP问题

《Springboot如何正确使用AOP问题》:本文主要介绍Springboot如何正确使用AOP问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录​一、AOP概念二、切点表达式​execution表达式案例三、AOP通知四、springboot中使用AOP导出

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题

《解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题》:本文主要介绍解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4... 目录未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘打开pom.XM