MySQL中删除重复数据SQL的三种写法

2025-01-13 04:50

本文主要是介绍MySQL中删除重复数据SQL的三种写法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《MySQL中删除重复数据SQL的三种写法》:本文主要介绍MySQL中删除重复数据SQL的三种写法,文中通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下...

要在 mysql 中删除重复的数javascript据并只保留一条,可以使用下面的方法(要用的时候直接复制小改下条件和表名称即即可)

方法一:使用 left join + 子查询删除重复数据(推荐)

温馨提示:本人在 500w 数据下执行此 SQL 耗费 15s-30s 左右

使用 left join (推荐方法删除重复数据,添加唯一组合索引,可以使用,数据量大的也可以)

// 先把历史数据删除,才能够添加唯一的组合索引
DELETE u1
FROM uf_cs_recorwww.chinasem.cnd_BATch_detail u1
LEFT JOIN (
    SELECT MIN(id) AS min_id
    FROM uf_cs_record_batch_detail
    GROUP BY androidcs_contact_name, cs_safe_remark
) u2
ON u1.id = u2.min_id
WHERE u2.min_id IS NULL;

另外在附上添加唯一组合索引的 SQL 写法(很实用):

// 添加组合的唯一索引
ALTERandroid TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);

方法二:创建临时表(需分多步执行,逻辑清晰,但会改变ID值)

这种方法假设你有一个表 your_table,并且你要基于某些列来判断哪些数据是重复的。
例如,如果你想删除基于 column1 和 column2 的重复记录,只保留一条记录,你可以按照以下步骤操作:

  • 使用 CREATE TABLE 语句创建一个临时表,用于存储唯一的记录。
  • 使用 INSERT INTO ... SELECT 语句将唯一的记录插入到临时表中。
  • 删除原始表中的所有记录。
  • 使用 INSERT INTO ... SELECT 语句将临时表中的记录插入回原始表。
  • 删除临时表。

以下是一个完整的 SQL 例子:

-- 创建临时表 SQL 参考
CREATETABLE temp_table AS
SELECT*FROM your_table

-- 将不重复的数据临时存在这个 temp_table 临时表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id = (
    SELECTMIN(t2.id)
    FROM your_table t2
    WHERE t1.column1 = t2.column1
    AND t1.column2 = t2.column2
);

-- 然后将源表中的数据删除
DELETEFROM your_table whereWHERE 字段1=值;

-- 再将临时表中不重复数据重新写回到源表中
INSERTINTO yhttp://www.chinasem.cnour_table
SELECT*FROM temp_table;

-- 最后删除临时表
DROPTABLE temp_table;

这样,你就成功地删除了原始表中的重复记录,只保留了一条唯一记录。

注意:但是这种方法会改变原来的数据 ID ,所以这种方法看场合使用

方法三:使用 JOIN 自连查询(需要注意性能问题)

为了避免改变原来的数据 ID,我们可以使用一个不同的方法,通过使用自连接来标记重复的数据并删除多余的记录。这种方法在保留原始 ID 的情况下删除重复记录。

假设你的表结构如下:

  • 表名:your_table
  • 列名:id (主键), column1column2, 以及其他列。

你可以使用以下 SQL 来删除重复记录,只保留一条(通常是保留 ID 最小的那一条):

-- Step 1: 标记要删除的重复记录
DELETE t1
FROM your_table t1
INNER JOIN your_table t2 
WHERE 
    t1.id > t2.id
    AND t1.column1 = t2.column1
    AND t1.column2 = t2.column2;

-- Step 2: 确认删除成功,查看剩余数据
SELECT * FROM your_table;

解释:

-标记要删除的重复记录:我们使用自连接 INNER JOIN 来找到重复的记录,并且使用 WHERE t1.id > t2.id 来确保只删除 id 较大的记录,从而保 留 id 最小的记录。

  • 确认删除成功:通过 SELECT 语句查看剩余的数据,确保删除操作正确。这个方法的优点是:不会改变原始数据的 ID。保留每组重复记录中 ID 最小的一条记录。操作简单且高效。

小总结

  • 使用 left join 删除重复数据(推荐使用),适合大数据量,性能 OK
  • 创建临时表 适合需要重建数据表的场景,适合数据量中等的情况,不过比较繁琐
  • 自连查询 能保留最小 ID,适合不想改变 ID 的情况下删除重复数据。

到此这篇关于MySQL中删除重复数据SQL的三种写法的文章就介绍到这了,更多相关MySQL删除重复数据内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)!

这篇关于MySQL中删除重复数据SQL的三种写法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1153044

相关文章

在idea中使用mysql数据库超详细教程

《在idea中使用mysql数据库超详细教程》:本文主要介绍如何在IntelliJIDEA中连接MySQL数据库,并使用控制台执行SQL语句,还详细讲解了如何使用MyBatisGenerator快... 目录一、连接mysql二、使用mysql三、快速生成实体、接口、sql文件总结一、连接mysql在ID

mysqld_multi在Linux服务器上运行多个MySQL实例

《mysqld_multi在Linux服务器上运行多个MySQL实例》在Linux系统上使用mysqld_multi来启动和管理多个MySQL实例是一种常见的做法,这种方式允许你在同一台机器上运行多个... 目录1. 安装mysql2. 配置文件示例配置文件3. 创建数据目录4. 启动和管理实例启动所有实例

Spring IOC的三种实现方式详解

《SpringIOC的三种实现方式详解》:本文主要介绍SpringIOC的三种实现方式,在Spring框架中,IOC通过依赖注入来实现,而依赖注入主要有三种实现方式,构造器注入、Setter注入... 目录1. 构造器注入(Cons编程tructor Injection)2. Setter注入(Setter

Android kotlin语言实现删除文件的解决方案

《Androidkotlin语言实现删除文件的解决方案》:本文主要介绍Androidkotlin语言实现删除文件的解决方案,在项目开发过程中,尤其是需要跨平台协作的项目,那么删除用户指定的文件的... 目录一、前言二、适用环境三、模板内容1.权限申请2.Activity中的模板一、前言在项目开发过程中,尤

Java中注解与元数据示例详解

《Java中注解与元数据示例详解》Java注解和元数据是编程中重要的概念,用于描述程序元素的属性和用途,:本文主要介绍Java中注解与元数据的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参... 目录一、引言二、元数据的概念2.1 定义2.2 作用三、Java 注解的基础3.1 注解的定义3.2 内

将sqlserver数据迁移到mysql的详细步骤记录

《将sqlserver数据迁移到mysql的详细步骤记录》:本文主要介绍将SQLServer数据迁移到MySQL的步骤,包括导出数据、转换数据格式和导入数据,通过示例和工具说明,帮助大家顺利完成... 目录前言一、导出SQL Server 数据二、转换数据格式为mysql兼容格式三、导入数据到MySQL数据

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(

C#提取PDF表单数据的实现流程

《C#提取PDF表单数据的实现流程》PDF表单是一种常见的数据收集工具,广泛应用于调查问卷、业务合同等场景,凭借出色的跨平台兼容性和标准化特点,PDF表单在各行各业中得到了广泛应用,本文将探讨如何使用... 目录引言使用工具C# 提取多个PDF表单域的数据C# 提取特定PDF表单域的数据引言PDF表单是一

MySQL分表自动化创建的实现方案

《MySQL分表自动化创建的实现方案》在数据库应用场景中,随着数据量的不断增长,单表存储数据可能会面临性能瓶颈,例如查询、插入、更新等操作的效率会逐渐降低,分表是一种有效的优化策略,它将数据分散存储在... 目录一、项目目的二、实现过程(一)mysql 事件调度器结合存储过程方式1. 开启事件调度器2. 创

SQL Server使用SELECT INTO实现表备份的代码示例

《SQLServer使用SELECTINTO实现表备份的代码示例》在数据库管理过程中,有时我们需要对表进行备份,以防数据丢失或修改错误,在SQLServer中,可以使用SELECTINT... 在数据库管理过程中,有时我们需要对表进行备份,以防数据丢失或修改错误。在 SQL Server 中,可以使用 SE