在数据库插入万条数据,比普通插入提升百倍速度

2023-10-17 23:36

本文主要是介绍在数据库插入万条数据,比普通插入提升百倍速度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在数据库插入万条数据,比普通插入提升百倍速度


JDBC中通过普通方法插入一万条数据

   /*** 普通方法插入10000条数据* @throws Exception*/@Testpublic void testInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?user=root&password=abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "shiSheng" + i);preparedStatement.setObject(2, "1" + i);preparedStatement.setObject(3, "男" + i);//一条一条插入数据preparedStatement.executeUpdate();}//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("普通方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}

运行结果

普通方式执行插入1万个数据消耗的时间:23391

可以看到用了大概23秒的时间,效率十分的低下,这还只是插入最简单数据的情况下


通过批量插入来提升百倍速度
 	/*** 批量插入10000条数据* @throws Exception*/@Testpublic void batchInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?rewriteBatchedStatements=true","root","abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "a" + i);preparedStatement.setObject(2, "b" + i);preparedStatement.setObject(3, "c" + i);//将所有要插入的数据添加到values后面preparedStatement.addBatch();}//批量插入数据preparedStatement.executeBatch();//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("优化方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}

运行结果

优化方式执行插入1万个数据消耗的时间:231

通过对比可以看到普通方法用了23391毫秒,优化后只用了231毫秒,速度提升了百倍以上,这对项目是一个很大的提升

变动

  • 改动一

在获取连接时加上rewriteBatchedStatements=true,意思是允许批量插入数据

  • 改动二

preparedStatement.executeUpdate();
改为
preparedStatement.addBatch();
由原先的一条一条插入数据,改为把所有要插入的数据都添加到values后面,之后再统一插入数据

  • 改动三

在for循环外加上preparedStatement.executeBatch();数据全部添加完成后统一执行批量插入操作

原因

其实就是调用了statement中的一个批量插入函数,提高了效率。
原先是通过for循环一条一条的插入数据,这样效率很低,现在是通过for循环把要插入的数据都保存到一个地方,循环结束后统一进行插入,这样节省很多空间内存,也提高了效率。


我是时生,一个正在努力的小白。欢迎批评,欢迎指正,欢迎共享。 如果这篇文章对你有帮助,麻烦点个赞呗!

这篇关于在数据库插入万条数据,比普通插入提升百倍速度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/228705

相关文章

PowerShell中15个提升运维效率关键命令实战指南

《PowerShell中15个提升运维效率关键命令实战指南》作为网络安全专业人员的必备技能,PowerShell在系统管理、日志分析、威胁检测和自动化响应方面展现出强大能力,下面我们就来看看15个提升... 目录一、PowerShell在网络安全中的战略价值二、网络安全关键场景命令实战1. 系统安全基线核查

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MySQL数据库中ENUM的用法是什么详解

《MySQL数据库中ENUM的用法是什么详解》ENUM是一个字符串对象,用于指定一组预定义的值,并可在创建表时使用,下面:本文主要介绍MySQL数据库中ENUM的用法是什么的相关资料,文中通过代码... 目录mysql 中 ENUM 的用法一、ENUM 的定义与语法二、ENUM 的特点三、ENUM 的用法1

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文