[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复

本文主要是介绍[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者简介
李传成: 瀚高软件内核研发工程师,主要研究方向为数据库的备份和恢复,对wal日志的原理和应用有较深的理解。自研了wal日志解析工具walminer、pg块恢复工具pg_lightool。

背景
开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。

工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

一、实验数据准备
1.初始化数据库后设置归档目录

badebe3172a36a32afbe829c9c9a3a8d.png

2.创建表插入测试数据

730b00c714be1aa6603a838ba9d14955.png

3.如下闭库后删除刚才产生的wal日志。用于保证数据是从basebackup获取的。

b4f9c13459f2d685400393a257738203.png

4.启动数据库做基础备份

fed7808436408dc06fc2565ad109cde2.png

5.测试数据修改(涂掉的地方是log输出有点串行,忽略即可)

fb8fd1cfccee3a3bcd248c7adcb18b62.png

二、基于basebackup和wal日志的单表完全恢复
1. 关闭数据库,模拟表破坏

5407005c9b5ce5a3fe3cd4a2add823ae.png

2. 闭库,执行恢复命令后查看数据

94a940727bd6f6155c784ade9408fa70.png

说明:

使用-b 参数为-1即为全表恢复。

使用-r参数指定basebackup的路径。

命令执行成功后,在数据文件所在的目录生成wtrbk_*_*目录保存旧的数据

8bdce5db95f97e01f689680b393aa33a.png

7ec2c75c537c9d5e17d25da5f0ea67a6.png

说明:表完全恢复的数据正确。

三、基于basebackup和wal日志的单表不完全恢复
在修改测试数据的时候,有一个delete语句,假设这个delete语句是误操作。我们想把数据恢复到这个delete语句之前,应该怎么办?如下是使用pg_lightool工具的不完全恢复演示过程。

1.使用pg_waldump到wal日志中查看这个delete语句的之前成功的一个事务提交,如下结果可以看出delete语句的xid是581,前一个提交的事务是580

b55032bd549963d8042eeed7c70afef7.pngba304637f7b9fab7c1b2dbca0b376ed8.png

2.闭库执行恢复,并查看结果

adb0d716cb622c9dd967686b548a6292.png

说明:

使用了-x参数指定停止wal日志redo的xid,还可以替换为使用-e参数指定时间。

假设delete为误操作,此时误操作数据已恢复,不完全恢复出的数据正确。

四、基于basebackup和wal日志的单block完全恢复
1.闭库删除t2的数据,并执行恢复命令

2817999e061ecc2d0d8ea07505bdbf4a.png

说明:-b参数指定要恢复的page为0,1,2

2.查看数据

bba46836d070429445fafdcb0c44f850.png

说明:表完全恢复的数据正确。

五、基于basebackup和wal日志的单block不完全恢复
1.闭库删除t2的数据,并执行恢复命令

4e0737996e256f7f6ff793499be9a653.png

2.查看数据

20159db6f37a64584c9c1e3e9da77704.png

说明:表不完全恢复的数据正确。

六、后记
1.此恢复操作没有计入wal日志,因此执行恢复后,需要立即备份。

2.目前代码只适用pg10以及之前的版本。

3.如有bug请issue或联系我(lchch1990@sina.cn)

PostgreSQL中文社区欢迎广大技术人员投稿

投稿邮箱:press@postgres.cn
 

这篇关于[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/972518

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

Python中bisect_left 函数实现高效插入与有序列表管理

《Python中bisect_left函数实现高效插入与有序列表管理》Python的bisect_left函数通过二分查找高效定位有序列表插入位置,与bisect_right的区别在于处理重复元素时... 目录一、bisect_left 基本介绍1.1 函数定义1.2 核心功能二、bisect_left 与

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L

使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)

《使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)》字体设计和矢量图形处理是编程中一个有趣且实用的领域,通过Python的matplotlib库,我们可以轻松将字体轮廓... 目录背景知识字体轮廓的表示实现步骤1. 安装依赖库2. 准备数据3. 解析路径指令4. 绘制图形关键

解决mysql插入数据锁等待超时报错:Lock wait timeout exceeded;try restarting transaction

《解决mysql插入数据锁等待超时报错:Lockwaittimeoutexceeded;tryrestartingtransaction》:本文主要介绍解决mysql插入数据锁等待超时报... 目录报错信息解决办法1、数据库中执行如下sql2、再到 INNODB_TRX 事务表中查看总结报错信息Lock