从ibd文件恢复MySQL数据

2024-06-11 15:12
文章标签 数据 mysql 恢复 database ibd

本文主要是介绍从ibd文件恢复MySQL数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从ibd文件恢复MySQL数据

  • 1.背景
  • 2.操作步骤
    • 2.1 备份源数据库的ibd文件
    • 2.2 准备数据库建表语句
    • 2.3 重新安装新数据库
    • 2.4 新数据库恢复数据具体步骤
  • 3.常见错误
    • 3.1 权限问题
    • 3.2 报错不存在CFG文件
    • 3.3 通过ibd文件恢复数据后自增主键问题报冲突

1.背景

前段时间,我的云服务器被病毒木马入侵了,导致服务器所有服务全部下线,且22端口被侵,远程无法登录,VNC模式也无法登录。尝试备份镜像和云硬盘,并用原来的镜像重装系统,依旧无法登录。

遂只能采用xx云服务器上的救援模式,挂载一下原来的硬盘,把关键的文件导出到本地,再重装系统将文件重新上传。

MySQL数据库数据的恢复的过程中,踩了一些坑,下文给出具体的恢复的操作过程。

2.操作步骤

2.1 备份源数据库的ibd文件

整个MySQL数据库数据的恢复都是基于ibd文件的,所以最重要的自然是将源数据库的ibd文件保存下来。

这里要注意的是,MySQL默认的数据保存地点在/var/lib/mysql目录下,这个目录下会有你创建的具体的schema的文件夹,以及这个schema中所有表的ibd文件,我们直接使用SFTP导出整个文件夹即可,后续的恢复操作都会基于ibd文件来展开。

如果你的MySQL之前安装的时候是自己手动指定的安装目录,可以使用下面的命令查询mysql的安装目录,然后备份的操作同上。

find / -name mysql

2.2 准备数据库建表语句

这里可能有些人没有备份建表语句的习惯,大家可以先断开自己本地的网络连接,然后使用自己平时常用的数据库连接工具,直接查看DDL语句,一般数据库连接工具里面都有缓存的数据库的建表语句。

2.3 重新安装新数据库

在新的系统上安装好新数据库,默认安装会安装到地址/var/lib/mysql下。

2.4 新数据库恢复数据具体步骤

1、创建数据库schema

比如我们创建数据库test,并切换到test数据库。在MySQL中执行如下SQL。

create database test;
use test;

2、创建表

这里直接把前面准备好的数据库建表语句全部执行,在MySQL中执行如下SQL。

create table xxx ...

3、移除表空间

这一步是直接把刚才建好的表空间移除,执行命令如下,在MySQL中执行如下SQL。

alter table xxx discard tablespace;

其中xxx为具体的表名,做完这一步的现象就是在/var/lib/mysql/test目录下,刚才因为我们创建表所生成的ibd文件被删除了。

4、上传源数据库ibd文件

前面我们已经备份了源数据库中表的ibd文件,现在将文件使用SFTP工具上传到刚才的/var/lib/mysql/test目录下。(注意:这里的/var/lib/mysql是我本地数据库的安装目录,而test是我数据库的名称,各位具体情况需要根据自己数据库的情况而定)

5、修改ibd文件权限

上一步通过SFTP上传的ibd文件正常应该是root用户上传的,我们需要使用mysql用户来完成剩下的操作,在LinuxShell的命令行中执行下面的命令。

chown mysql:mysql /var/lib/mysql/test/*.ibd

同理,上述的/var/lib/mysql/test是我本机的数据库位置,各位实际操作的时候需要根据自己本机情况进行相应的修改,而*.ibd表示给所有的ibd文件都修改权限。

6、重导表空间

上一步我们已经上传好ibd文件,并修改了文件权限,这一步要做的就是让MySQL识别到刚才上传的数据,重新导入表空间。这一步可以一个表一个表的进行导入表空间,原因是因为有些表的ibd文件可能已经不支持导入了,导入的时候会报错,我们先把可以恢复的表恢复了,在MySQL中执行如下SQL。

alter table xxx import tablespace;

3.常见错误

在操作恢复数据库的过程中,我遇到了一些错误,并且导致了部分表无法恢复成功,在这里总结几种。

3.1 权限问题

由于上传的ibd文件是root用户上传的,导致在MySQL中执行SQL会报错,这个时候通过Shell工具修改ibd文件的权限即可,具体参考2.4节第5步。

3.2 报错不存在CFG文件

这个报错我网上查了一下,有的文章说,在数据库ibd文件同级目录下存在CFG文件,需要和ibd文件一起导入新的数据库,但是我的MySQL版本是8.0.31并没有相关的CFG文件。

后续查阅官方文档,是因为我在最开始建表以后,使用ALTER操作新增了列,导致表结构的存储发生了变化,这被官方称为DDL INSTANT,所以无法恢复。面对这种问题,建议大家平时对数据库数据多多备份,减少数据丢失。

3.3 通过ibd文件恢复数据后自增主键问题报冲突

我有一些表使用了数据库的自增主键,在恢复完数据以后,重新部署了应用,在使用自增主键的表中出现了主键冲突的情况。

原因是通过原来的ibd文件导入数据并没有同步相应的系统表的结构,所以新的MySQL认为自增主键还是从1开始算,实际上数据库中的数据自增列早已增长到一定数目了。针对这个问题,我目前没有想到好的方法,只能先将恢复好的数据库数据导出到SQL,然后删除原表重新建表以后,再重新导入。

当然如果没有使用到系统能力(比如自增主键)的表,是无需删除表再重新导入数据的。

这篇关于从ibd文件恢复MySQL数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1051526

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

GSON框架下将百度天气JSON数据转JavaBean

《GSON框架下将百度天气JSON数据转JavaBean》这篇文章主要为大家详细介绍了如何在GSON框架下实现将百度天气JSON数据转JavaBean,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言一、百度天气jsON1、请求参数2、返回参数3、属性映射二、GSON属性映射实战1、类对象映

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

C# LiteDB处理时间序列数据的高性能解决方案

《C#LiteDB处理时间序列数据的高性能解决方案》LiteDB作为.NET生态下的轻量级嵌入式NoSQL数据库,一直是时间序列处理的优选方案,本文将为大家大家简单介绍一下LiteDB处理时间序列数... 目录为什么选择LiteDB处理时间序列数据第一章:LiteDB时间序列数据模型设计1.1 核心设计原则

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

MySQL 表空却 ibd 文件过大的问题及解决方法

《MySQL表空却ibd文件过大的问题及解决方法》本文给大家介绍MySQL表空却ibd文件过大的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录一、问题背景:表空却 “吃满” 磁盘的怪事二、问题复现:一步步编程还原异常场景1. 准备测试源表与数据