在数据库插入万条数据,比普通插入提升百倍速度

2023-10-17 23:36

本文主要是介绍在数据库插入万条数据,比普通插入提升百倍速度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在数据库插入万条数据,比普通插入提升百倍速度


JDBC中通过普通方法插入一万条数据

   /*** 普通方法插入10000条数据* @throws Exception*/@Testpublic void testInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?user=root&password=abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "shiSheng" + i);preparedStatement.setObject(2, "1" + i);preparedStatement.setObject(3, "男" + i);//一条一条插入数据preparedStatement.executeUpdate();}//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("普通方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}

运行结果

普通方式执行插入1万个数据消耗的时间:23391

可以看到用了大概23秒的时间,效率十分的低下,这还只是插入最简单数据的情况下


通过批量插入来提升百倍速度
 	/*** 批量插入10000条数据* @throws Exception*/@Testpublic void batchInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?rewriteBatchedStatements=true","root","abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "a" + i);preparedStatement.setObject(2, "b" + i);preparedStatement.setObject(3, "c" + i);//将所有要插入的数据添加到values后面preparedStatement.addBatch();}//批量插入数据preparedStatement.executeBatch();//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("优化方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}

运行结果

优化方式执行插入1万个数据消耗的时间:231

通过对比可以看到普通方法用了23391毫秒,优化后只用了231毫秒,速度提升了百倍以上,这对项目是一个很大的提升

变动

  • 改动一

在获取连接时加上rewriteBatchedStatements=true,意思是允许批量插入数据

  • 改动二

preparedStatement.executeUpdate();
改为
preparedStatement.addBatch();
由原先的一条一条插入数据,改为把所有要插入的数据都添加到values后面,之后再统一插入数据

  • 改动三

在for循环外加上preparedStatement.executeBatch();数据全部添加完成后统一执行批量插入操作

原因

其实就是调用了statement中的一个批量插入函数,提高了效率。
原先是通过for循环一条一条的插入数据,这样效率很低,现在是通过for循环把要插入的数据都保存到一个地方,循环结束后统一进行插入,这样节省很多空间内存,也提高了效率。


我是时生,一个正在努力的小白。欢迎批评,欢迎指正,欢迎共享。 如果这篇文章对你有帮助,麻烦点个赞呗!

这篇关于在数据库插入万条数据,比普通插入提升百倍速度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/228705

相关文章

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备(M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从

SpringBoot基于注解实现数据库字段回填的完整方案

《SpringBoot基于注解实现数据库字段回填的完整方案》这篇文章主要为大家详细介绍了SpringBoot如何基于注解实现数据库字段回填的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解... 目录数据库表pom.XMLRelationFieldRelationFieldMapping基础的一些代

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

使用Node.js和PostgreSQL构建数据库应用

《使用Node.js和PostgreSQL构建数据库应用》PostgreSQL是一个功能强大的开源关系型数据库,而Node.js是构建高效网络应用的理想平台,结合这两个技术,我们可以创建出色的数据驱动... 目录初始化项目与安装依赖建立数据库连接执行CRUD操作查询数据插入数据更新数据删除数据完整示例与最佳

Oracle数据库在windows系统上重启步骤

《Oracle数据库在windows系统上重启步骤》有时候在服务中重启了oracle之后,数据库并不能正常访问,下面:本文主要介绍Oracle数据库在windows系统上重启的相关资料,文中通过代... oracle数据库在Windows上重启的方法我这里是使用oracle自带的sqlplus工具实现的方

MySQL批量替换数据库字符集的实用方法(附详细代码)

《MySQL批量替换数据库字符集的实用方法(附详细代码)》当需要修改数据库编码和字符集时,通常需要对其下属的所有表及表中所有字段进行修改,下面:本文主要介绍MySQL批量替换数据库字符集的实用方法... 目录前言为什么要批量修改字符集?整体脚本脚本逻辑解析1. 设置目标参数2. 生成修改表默认字符集的语句3

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl