[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复

本文主要是介绍[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者简介
李传成: 瀚高软件内核研发工程师,主要研究方向为数据库的备份和恢复,对wal日志的原理和应用有较深的理解。自研了wal日志解析工具walminer、pg块恢复工具pg_lightool。

背景
开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。

工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

一、实验数据准备
1.初始化数据库后设置归档目录

badebe3172a36a32afbe829c9c9a3a8d.png

2.创建表插入测试数据

730b00c714be1aa6603a838ba9d14955.png

3.如下闭库后删除刚才产生的wal日志。用于保证数据是从basebackup获取的。

b4f9c13459f2d685400393a257738203.png

4.启动数据库做基础备份

fed7808436408dc06fc2565ad109cde2.png

5.测试数据修改(涂掉的地方是log输出有点串行,忽略即可)

fb8fd1cfccee3a3bcd248c7adcb18b62.png

二、基于basebackup和wal日志的单表完全恢复
1. 关闭数据库,模拟表破坏

5407005c9b5ce5a3fe3cd4a2add823ae.png

2. 闭库,执行恢复命令后查看数据

94a940727bd6f6155c784ade9408fa70.png

说明:

使用-b 参数为-1即为全表恢复。

使用-r参数指定basebackup的路径。

命令执行成功后,在数据文件所在的目录生成wtrbk_*_*目录保存旧的数据

8bdce5db95f97e01f689680b393aa33a.png

7ec2c75c537c9d5e17d25da5f0ea67a6.png

说明:表完全恢复的数据正确。

三、基于basebackup和wal日志的单表不完全恢复
在修改测试数据的时候,有一个delete语句,假设这个delete语句是误操作。我们想把数据恢复到这个delete语句之前,应该怎么办?如下是使用pg_lightool工具的不完全恢复演示过程。

1.使用pg_waldump到wal日志中查看这个delete语句的之前成功的一个事务提交,如下结果可以看出delete语句的xid是581,前一个提交的事务是580

b55032bd549963d8042eeed7c70afef7.pngba304637f7b9fab7c1b2dbca0b376ed8.png

2.闭库执行恢复,并查看结果

adb0d716cb622c9dd967686b548a6292.png

说明:

使用了-x参数指定停止wal日志redo的xid,还可以替换为使用-e参数指定时间。

假设delete为误操作,此时误操作数据已恢复,不完全恢复出的数据正确。

四、基于basebackup和wal日志的单block完全恢复
1.闭库删除t2的数据,并执行恢复命令

2817999e061ecc2d0d8ea07505bdbf4a.png

说明:-b参数指定要恢复的page为0,1,2

2.查看数据

bba46836d070429445fafdcb0c44f850.png

说明:表完全恢复的数据正确。

五、基于basebackup和wal日志的单block不完全恢复
1.闭库删除t2的数据,并执行恢复命令

4e0737996e256f7f6ff793499be9a653.png

2.查看数据

20159db6f37a64584c9c1e3e9da77704.png

说明:表不完全恢复的数据正确。

六、后记
1.此恢复操作没有计入wal日志,因此执行恢复后,需要立即备份。

2.目前代码只适用pg10以及之前的版本。

3.如有bug请issue或联系我(lchch1990@sina.cn)

PostgreSQL中文社区欢迎广大技术人员投稿

投稿邮箱:press@postgres.cn
 

这篇关于[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/972518

相关文章

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

解密SQL查询语句执行的过程

《解密SQL查询语句执行的过程》文章讲解了SQL语句的执行流程,涵盖解析、优化、执行三个核心阶段,并介绍执行计划查看方法EXPLAIN,同时提出性能优化技巧如合理使用索引、避免SELECT*、JOIN... 目录1. SQL语句的基本结构2. SQL语句的执行过程3. SQL语句的执行计划4. 常见的性能优

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

Spring Bean初始化及@PostConstruc执行顺序示例详解

《SpringBean初始化及@PostConstruc执行顺序示例详解》本文给大家介绍SpringBean初始化及@PostConstruc执行顺序,本文通过实例代码给大家介绍的非常详细,对大家的... 目录1. Bean初始化执行顺序2. 成员变量初始化顺序2.1 普通Java类(非Spring环境)(

Spring Boot 中的默认异常处理机制及执行流程

《SpringBoot中的默认异常处理机制及执行流程》SpringBoot内置BasicErrorController,自动处理异常并生成HTML/JSON响应,支持自定义错误路径、配置及扩展,如... 目录Spring Boot 异常处理机制详解默认错误页面功能自动异常转换机制错误属性配置选项默认错误处理

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

如何在Java Spring实现异步执行(详细篇)

《如何在JavaSpring实现异步执行(详细篇)》Spring框架通过@Async、Executor等实现异步执行,提升系统性能与响应速度,支持自定义线程池管理并发,本文给大家介绍如何在Sprin... 目录前言1. 使用 @Async 实现异步执行1.1 启用异步执行支持1.2 创建异步方法1.3 调用