mysql误删数据后,从binlog中进行恢复删除数据(拯救手残,不跑路)

2023-10-21 19:20

本文主要是介绍mysql误删数据后,从binlog中进行恢复删除数据(拯救手残,不跑路),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从mysql的logbin中恢复误删数据

在一次数据维护过程中,对数据删除时没有提前备份数据,导致数据被删除后无法通过备份文件直接恢复。

数据恢复思路

Created with Raphaël 2.3.0 数据被删除 数据是否有备份 从备份中恢复 binlog是否打开 查看binlog状态 刷新binlog状态 查找删除语句 mysqllogbin恢复数据 GG,数据丢失,卷铺盖跑路 yes no yes no


  1. 数据如果在删除前提前备份好,那么直接从备份文件中恢复。
  2. 如果没有备份文件,则需要查看mysql数据库是否打开logbin日志。如果没有打开直接GG。如果恰好打开了的,则需要如下几步进行:
1. 查看binlog状态,确认binlog文件
2. 刷新binlog状态,重新生成新binlog文件,确保原文件不被修改
3. 查找删除语句,确定好起始位置、删除时间等信息
4. 通过mysqllogbin恢复数据

操作明细

本文以下内容为mysql开启binlog的前提下进行数据恢复的步骤。希望以后都不用到!!!

1.查找当前操作的binlog状态

在myql命令行或者链接工具中,命令查看binlog当前的位置状态和文件信息。

show master status;

2. flush logs刷新状态

在myql命令行或者链接工具中,使用flush logs命令重新生成新的binlog命令。

flush logs;

3.备份第一步中查出来的binlog文件

在Linux下,使用cp命令将文件复制一份到/home/recover/下,后续操作都是在这个备份文件基础上进行操作的。
cp -a /var/lib/mysql/mysql-bin.000002 /home/recover/

4.查找删除数据的起始位置、时间等关键信息

这一步如果binlog文件比较大的话,建议在Navicat等连接工具中进行查询,使用命令查询后,找到删除命令的起始位置

show binlog events in 'mysql-bin.000002';

在这里插入图片描述
在这里插入图片描述

如图所示,找到起始位置

5.恢复数据

根据第四步找到的起始位置,使用mysqlbinlog命令,在系统中恢复数据库数据。

/usr/bin/mysqlbinlog --start-position=245 --stop-position=2997666 --database=test1 /var/lib/mysql/mysql-bin.000002 | /usr/bin/mysql -uroot -p123456 -v test1

/usr/bin/mysqlbinlog --start-position=245 --stop-position=2997666 --database=test1 /home/recover/mysql-bin.000002 | /usr/bin/mysql -uroot -p123456 -v test1

在实际执行上面命令的时候,一直提示出错

ERROR 1032 (HY000) at line 8299: Can’t find record in ‘table_name’

暂时不知道什么原因,可能和数据库版本有关?

因为这一步直接使用mysqlbinlog没有恢复成功,所以就只想到用到下面这一种方法:使用sed将binlog文件中的删除sql命令清洗成insert语句,通过拼接出来的sql去恢复数据

6.使用sed清洗数据

6.1 从binlog文件中提取删除信息

根据第四步中找到的起始位置,使用mysqllogbin命令提取对应的删除信息

mysqlbinlog --base64-output=decode-rows -vv \ --start-position=245 --stop-position=2997666 /home/recover/mysql-bin.000002 >a.txt

6.2 提取对应的删除sql

sed -n '/^###/'p a.txt >b.txt

这个命令的作用是将文件a.txt中以###开头的行复制到文件b.txt中。

sed是一个流编辑器,-n选项表示关闭默认的输出,只输出经过处理的行。

  • '/^###/'是一个正则表达式,表示匹配以###开头的行。
  • p命令表示输出匹配的行。

a.txt是要处理的文件。
>b.txt表示将输出结果重定向到文件b.txt中。

6.3 替换“### ”

sed 's/### //g' b.txt >c.txt

s/### //g是一个替换命令,表示将所有的### (三个井号后跟一个空格)替换为空。

  • s表示执行替换操作。
  • /### /是一个正则表达式,表示匹配所有的### 。
  • /g表示全局替换,即将所有匹配的字符串都进行替换。

b.txt是要处理的文件。
>c.txt表示将替换后的内容输出到文件c.txt中。

6.4 删除每行后面的注释

sed 's#/.*#,#g' c.txt >d.txt

这个命令的作用是将文件c.txt中每一行第一个/及其后面的内容替换为一个逗号,并将替换后的内容输出到文件d.txt中。

s#/.*#,#g是一个替换命令,表示将每一行第一个/及其后面的内容替换为一个逗号。

  • s表示执行替换操作。
  • /#/是一个正则表达式,表示匹配每一行中第一个/。
  • .*表示匹配/后面的任意字符串。
  • /#/,表示替换为一个逗号。
  • /g表示全局替换,即将每一行中第一个匹配的字符串都进行替换。

c.txt是要处理的文件。
>d.txt表示将替换后的内容输出到文件d.txt中。

6.5 DELETE FROM替换为INSERT INTO

sed 's#DELETE FROM#INSERT INTO#g' d.txt >e.txt

这个命令的作用是将文件d.txt中所有的DELETE FROM替换为INSERT INTO,然后将替换后的内容输出到文件e.txt中。

s#DELETE FROM#INSERT INTO#g是一个替换命令,表示将所有的DELETE FROM替换为INSERT INTO。

  • s表示执行替换操作。
  • #DELETE FROM#是一个正则表达式,表示匹配所有的DELETE FROM。
  • #INSERT INTO#表示替换为INSERT INTO。
  • /g表示全局替换,即将所有匹配的字符串都进行替换。

d.txt是要处理的文件。
>e.txt表示将替换后的内容输出到文件e.txt中。

6.5 WHERE替换为SELECT

sed 's#WHERE#SELECT#g' e.txt >f.txt

这个命令的作用是将文件e.txt中所有的WHERE替换为SELECT,然后将替换后的内容输出到文件f.txt中。

s#WHERE#SELECT#g是一个替换命令,表示将所有的WHERE替换为SELECT。

  • s表示执行替换操作。
  • #WHERE#是一个正则表达式,表示匹配所有的WHERE。
  • #SELECT#表示替换为SELECT。
  • /g表示全局替换,即将所有匹配的字符串都进行替换。

e.txt是要处理的文件。
>f.txt表示将替换后的内容输出到文件f.txt中。

6.5 @53= 替换成’,‘ 语句结尾添加’;‘号

sed -r 's#(@53=.*)(,)#\1;#g' f.txt >h.txt

这个命令的作用是将文件f.txt中所有的以@11=开头、以,结尾的字符串替换为这个字符串加上;,然后将替换后的内容输出到文件h.txt中。

-r选项表示使用扩展正则表达式。
s#(@53=.*)(,)#\1;#g是一个替换命令,表示将所有的以@11=开头、以,结尾的字符串替换为这个字符串加上;。

  • s表示执行替换操作。
  • #(@11=.*)(,)#是一个正则表达式,匹配所有以@11=开头、以,结尾的字符串。
  • \1;表示将匹配到的字符串替换为匹配到的内容加上;。
  • /g表示全局替换,即将所有匹配的字符串都进行替换。

f.txt是要处理的文件。
>h.txt表示将替换后的内容输出到文件h.txt中。

6.5 生成可执行的sql

sed -r 's#(@.*=)(.*)#\2#g' h.txt >aa.sql

6.6 添加commit

sed -i '$a commit;' aa.sql

至此,已经从导出binlog文件中清洗除了需要恢复的sql语句(insert语句),可以通过命令或者桌面工具执行sql,恢复删除的数据了。

6.7 执行sql

mysql -uroot -p123456 test < aa.sql

7. 问题总结

7.1 日期格式问题

在实际操作过程中,发现因为从binlog中导出的数据包含日期格式有问题,没有带单引号,所以造成sed清洗出来的sql执行不成功。问题解决方法有两个:

使用sed 直接匹配时间格式后对时间格式直接进行添加单引号,如下命令:

sed -E "s/[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}/'&'/g" filename

优化:对时间格式进行判断其前后是否有单引号,没有则进行添加
sed -E "s/'?[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}'?/'&'/g" filename

7.2 sed中> 和>> 的区别

在使用过程中,有一步使用了>>且重复执行后,导致最后生成的sql数据重复

  • 在sed命令中,>和>>都是用来将输出写入文件的符号。
  • >符号表示覆盖输出。它会将命令的输出写入目标文件,如果目标文件已经存在,则会覆盖文件原有的内容。
  • >>符号表示追加输出。它会将命令的输出追加到目标文件末尾,而不会覆盖原有内容。
7.3 在删除数据一定要谨慎

对大量数据进行删除过程中,一定要谨慎。

  • 尽量不要在数据库中对大量数据进行操作
  • 操作数据前需要对数据进行备份
  • 使用mysql时,尽量把logbin日志打开(可能会有牺牲一定的性能和存储空间,但是比起数据安全来说,是值得的),在数据被误删的情况下,也是一个补充。

8 参考文章

通过binlog恢复误delete的数据(一)
使用binlog日志恢复MySQL数据库删除数据的方法

这篇关于mysql误删数据后,从binlog中进行恢复删除数据(拯救手残,不跑路)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/256437

相关文章

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

mysql8.0.43使用InnoDB Cluster配置主从复制

《mysql8.0.43使用InnoDBCluster配置主从复制》本文主要介绍了mysql8.0.43使用InnoDBCluster配置主从复制,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录1、配置Hosts解析(所有服务器都要执行)2、安装mysql shell(所有服务器都要执行)3、

k8s中实现mysql主备过程详解

《k8s中实现mysql主备过程详解》文章讲解了在K8s中使用StatefulSet部署MySQL主备架构,包含NFS安装、storageClass配置、MySQL部署及同步检查步骤,确保主备数据一致... 目录一、k8s中实现mysql主备1.1 环境信息1.2 部署nfs-provisioner1.2.

MySQL中VARCHAR和TEXT的区别小结

《MySQL中VARCHAR和TEXT的区别小结》MySQL中VARCHAR和TEXT用于存储字符串,VARCHAR可变长度存储在行内,适合短文本;TEXT存储在溢出页,适合大文本,下面就来具体的了解... 目录一、VARCHAR 和 TEXT 基本介绍1. VARCHAR2. TEXT二、VARCHAR

MySQL中C接口的实现

《MySQL中C接口的实现》本节内容介绍使用C/C++访问数据库,包括对数据库的增删查改操作,主要是学习一些接口的调用,具有一定的参考价值,感兴趣的可以了解一下... 目录准备mysql库使用mysql库编译文件官方API文档对象的创建和关闭链接数据库下达sql指令select语句前言:本节内容介绍使用C/

mybatis直接执行完整sql及踩坑解决

《mybatis直接执行完整sql及踩坑解决》MyBatis可通过select标签执行动态SQL,DQL用ListLinkedHashMap接收结果,DML用int处理,注意防御SQL注入,优先使用#... 目录myBATiFBNZQs直接执行完整sql及踩坑select语句采用count、insert、u

MySQL之搜索引擎使用解读

《MySQL之搜索引擎使用解读》MySQL存储引擎是数据存储和管理的核心组件,不同引擎(如InnoDB、MyISAM)采用不同机制,InnoDB支持事务与行锁,适合高并发场景;MyISAM不支持事务,... 目录mysql的存储引擎是什么MySQL存储引擎的功能MySQL的存储引擎的分类查看存储引擎1.命令

Linux命令rm如何删除名字以“-”开头的文件

《Linux命令rm如何删除名字以“-”开头的文件》Linux中,命令的解析机制非常灵活,它会根据命令的开头字符来判断是否需要执行命令选项,对于文件操作命令(如rm、ls等),系统默认会将命令开头的某... 目录先搞懂:为啥“-”开头的文件删不掉?两种超简单的删除方法(小白也能学会)方法1:用“--”分隔命

C#自动化实现检测并删除PDF文件中的空白页面

《C#自动化实现检测并删除PDF文件中的空白页面》PDF文档在日常工作和生活中扮演着重要的角色,本文将深入探讨如何使用C#编程语言,结合强大的PDF处理库,自动化地检测并删除PDF文件中的空白页面,感... 目录理解PDF空白页的定义与挑战引入Spire.PDF for .NET库核心实现:检测并删除空白页