[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复

本文主要是介绍[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者简介
李传成: 瀚高软件内核研发工程师,主要研究方向为数据库的备份和恢复,对wal日志的原理和应用有较深的理解。自研了wal日志解析工具walminer、pg块恢复工具pg_lightool。

背景
开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。

工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

一、实验数据准备
1.初始化数据库后设置归档目录

badebe3172a36a32afbe829c9c9a3a8d.png

2.创建表插入测试数据

730b00c714be1aa6603a838ba9d14955.png

3.如下闭库后删除刚才产生的wal日志。用于保证数据是从basebackup获取的。

b4f9c13459f2d685400393a257738203.png

4.启动数据库做基础备份

fed7808436408dc06fc2565ad109cde2.png

5.测试数据修改(涂掉的地方是log输出有点串行,忽略即可)

fb8fd1cfccee3a3bcd248c7adcb18b62.png

二、基于basebackup和wal日志的单表完全恢复
1. 关闭数据库,模拟表破坏

5407005c9b5ce5a3fe3cd4a2add823ae.png

2. 闭库,执行恢复命令后查看数据

94a940727bd6f6155c784ade9408fa70.png

说明:

使用-b 参数为-1即为全表恢复。

使用-r参数指定basebackup的路径。

命令执行成功后,在数据文件所在的目录生成wtrbk_*_*目录保存旧的数据

8bdce5db95f97e01f689680b393aa33a.png

7ec2c75c537c9d5e17d25da5f0ea67a6.png

说明:表完全恢复的数据正确。

三、基于basebackup和wal日志的单表不完全恢复
在修改测试数据的时候,有一个delete语句,假设这个delete语句是误操作。我们想把数据恢复到这个delete语句之前,应该怎么办?如下是使用pg_lightool工具的不完全恢复演示过程。

1.使用pg_waldump到wal日志中查看这个delete语句的之前成功的一个事务提交,如下结果可以看出delete语句的xid是581,前一个提交的事务是580

b55032bd549963d8042eeed7c70afef7.pngba304637f7b9fab7c1b2dbca0b376ed8.png

2.闭库执行恢复,并查看结果

adb0d716cb622c9dd967686b548a6292.png

说明:

使用了-x参数指定停止wal日志redo的xid,还可以替换为使用-e参数指定时间。

假设delete为误操作,此时误操作数据已恢复,不完全恢复出的数据正确。

四、基于basebackup和wal日志的单block完全恢复
1.闭库删除t2的数据,并执行恢复命令

2817999e061ecc2d0d8ea07505bdbf4a.png

说明:-b参数指定要恢复的page为0,1,2

2.查看数据

bba46836d070429445fafdcb0c44f850.png

说明:表完全恢复的数据正确。

五、基于basebackup和wal日志的单block不完全恢复
1.闭库删除t2的数据,并执行恢复命令

4e0737996e256f7f6ff793499be9a653.png

2.查看数据

20159db6f37a64584c9c1e3e9da77704.png

说明:表不完全恢复的数据正确。

六、后记
1.此恢复操作没有计入wal日志,因此执行恢复后,需要立即备份。

2.目前代码只适用pg10以及之前的版本。

3.如有bug请issue或联系我(lchch1990@sina.cn)

PostgreSQL中文社区欢迎广大技术人员投稿

投稿邮箱:press@postgres.cn
 

这篇关于[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/972518

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

C++统计函数执行时间的最佳实践

《C++统计函数执行时间的最佳实践》在软件开发过程中,性能分析是优化程序的重要环节,了解函数的执行时间分布对于识别性能瓶颈至关重要,本文将分享一个C++函数执行时间统计工具,希望对大家有所帮助... 目录前言工具特性核心设计1. 数据结构设计2. 单例模式管理器3. RAII自动计时使用方法基本用法高级用法

Java实现远程执行Shell指令

《Java实现远程执行Shell指令》文章介绍使用JSch在SpringBoot项目中实现远程Shell操作,涵盖环境配置、依赖引入及工具类编写,详解分号和双与号执行多指令的区别... 目录软硬件环境说明编写执行Shell指令的工具类总结jsch(Java Secure Channel)是SSH2的一个纯J

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

GSON框架下将百度天气JSON数据转JavaBean

《GSON框架下将百度天气JSON数据转JavaBean》这篇文章主要为大家详细介绍了如何在GSON框架下实现将百度天气JSON数据转JavaBean,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言一、百度天气jsON1、请求参数2、返回参数3、属性映射二、GSON属性映射实战1、类对象映

C# LiteDB处理时间序列数据的高性能解决方案

《C#LiteDB处理时间序列数据的高性能解决方案》LiteDB作为.NET生态下的轻量级嵌入式NoSQL数据库,一直是时间序列处理的优选方案,本文将为大家大家简单介绍一下LiteDB处理时间序列数... 目录为什么选择LiteDB处理时间序列数据第一章:LiteDB时间序列数据模型设计1.1 核心设计原则

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

python 线程池顺序执行的方法实现

《python线程池顺序执行的方法实现》在Python中,线程池默认是并发执行任务的,但若需要实现任务的顺序执行,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋... 目录方案一:强制单线程(伪顺序执行)方案二:按提交顺序获取结果方案三:任务间依赖控制方案四:队列顺序消