redis持久化方式—RDB

2024-06-18 07:44
文章标签 redis 方式 持久 rdb

本文主要是介绍redis持久化方式—RDB,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RDB快照

与AOF记录写操作命令不同,RDB直接记录内存中的二进制数据,reids恢复数据时,直接将RDB文件加载到内存中就可以了,听起来是不是RDB完虐AOF?那么看完本文,会让你的态度转变,因为RDB的缺点比AOF更糟糕

RDB快照怎么用?

Redis 提供了两个命令来生成 RDB 文件,分别是 savebgsave,他们的区别就在于是否在「主线程」里执行:

  • 执行了 save 命令,就会在主线程生成 RDB 文件,由于和执行操作命令在同一个线程,所以如果写入 RDB 文件的时间太长,会阻塞主线程
  • 执行了 bgsave 命令,会创建一个子进程来生成 RDB 文件,这样可以避免主线程的阻塞

RDB 文件的加载工作是在服务器启动时自动执行的,Redis 并没有提供专门用于加载 RDB 文件的命令。

Redis 还可以通过配置文件的选项来实现每隔一段时间自动执行一次 bgsave 命令,默认会提供以下配置:

save 900 1
save 300 10
save 60 10000

别看选项名叫 save,实际上执行的是 bgsave 命令,也就是会创建子进程来生成 RDB 快照文件。

只要满足上面条件的任意一个,就会执行 bgsave,它们的意思分别是:

  • 900 秒之内,对数据库进行了至少 1 次修改;
  • 300 秒之内,对数据库进行了至少 10 次修改;
  • 60 秒之内,对数据库进行了至少 10000 次修改。

看上去RDB 和 AOF 有几点相似之处:

1.都有在主进程、子进程进行持久化的方式

2.主进程中的持久化操作和主进程的其它操作是串行的,有阻塞主进程的风险

3.fork出子进程进程持久化势必会出现持久化过程中主进程添加新数据而造成父子进程数据不一致的问题

注意

前文没有详细说明,RDB快照是全量快照,也就是说每次执行save或bgsave命令会将当前数据库的全部内存数据进行记录

现在,聪明的你,发现RDB的致命缺陷了吗?

RDB的致命缺陷

1.由于RDB是对数据库当前内存数据的全量快照,势必造成前后两次生成的RDB文件有重复部分,并且重复的数量会越来越大

2.全量快照导致了,RDB文件会随数据库的体积增大而增大,在生成较大RDB文件时会对redis造成性能影响,这也是RDB需要使用bgsave在子进程中持久化的原因

3.正是由于生成较大体积的RDB文件的开销较大,因此RDB操作不能像AOF那样频繁,因此RDB有持久化的窗口期,会造成数据丢失的风险,而相比之下,AOF安全的多

说说bgsave的问题

bgsave创建一个子进程,进行RDB持久化操作,与AOF类似,子进程只拥有fork时刻的父进程数据库状态在子进程持久化过程中新加入到父进程的数据,在子进程中是没有的,这部分数据只能在下一次RDB时进行持久化,如果在下一次RDB前redis宕机,那么这部分数据就会丢失,这部分丢失的数据是比AOF要多的,因为RDB对新数据的持久化频率远低于AOF

终极方案——RDB+AOF混合持久化

我在“AOF持久化”的文章中介绍到,AOF有解决持久化过程中由于新数据的加入,造成父子进程数据不一致而导致的数据丢失方案————持久化过程中,将新数据追加到父进程、子进程,从而实现数据同步

但RDB不同,由于RDB是对数据库的全量快照,没有用到AOF所使用的缓冲区,那么持久化过程中的新数据丢失问题就没办法解决了吗?

解决方案是AOF

如果想要开启混合持久化功能,可以在 Redis 配置文件将下面这个配置项设置成 yes:

aof-use-rdb-preamble yes

混合持久化工作在 AOF 日志重写过程

开启了混合持久化后,在AOF使用fork创建子进程来进行AOF重写时,不再将数据库中的内存数据转换成命令,而是像RDB一样,直接将内存数据以RDB格式写入到FOD文件中,在这个过程中,父进程新加入的数据也会追加到AOF子进程的aof重写缓冲区内,这部分数据是AOF格式,写入完成后通知主进程将新的含有 RDB 格式和 AOF 格式的 AOF 文件替换旧的的 AOF 文件

也就是说,使用了混合持久化,AOF 文件的前半部分是 RDB 格式的全量数据,后半部分是 AOF 格式的增量数据

混合持久化对AOF和RDB的优化:

1.混合持久化优化了AOF重写时,将数据库的内存数据转换成命令的这个过程,实际上将内存数据转换成命令这步操作是冗余的,AOF重写之所以进行这个转换,是为了保证AOF文件格式的一致性

而混合持久化的AOF文件中有RDB和AOF两种文件格式,避免了将内存数据转换成命令的步骤,提高了持久化效率

2.RDB在bgsave持久化过程中父进程添加的新数据有丢失的风险,且没有手段规避(AOF遇到同样的问题有解决方案),而混合持久化将RDB有丢失风险的这部分数据,采用了AOF的方案:追加命令到子进程的aof重写缓冲区,并以aof格式保存

总结

混合持久化的方案结合了RDB的快速加载、AOF的数据安全(数据丢失少)的优点一定程度规避了RDB的易丢失数据、AOF加载慢的缺点

重启 Redis 加载数据的时候,由于前半部分是 RDB 内容,这样加载的时候速度会很快

加载完 RDB 的内容后,才会加载后半部分的 AOF 内容,这里的内容是 Redis 后台子进程重写 AOF 期间,主线程处理的操作命令,可以使得数据更少的丢失

推荐学习 https://xxetb.xetslk.com/s/p5Ibb

这篇关于redis持久化方式—RDB的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1071682

相关文章

java实现docker镜像上传到harbor仓库的方式

《java实现docker镜像上传到harbor仓库的方式》:本文主要介绍java实现docker镜像上传到harbor仓库的方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 前 言2. 编写工具类2.1 引入依赖包2.2 使用当前服务器的docker环境推送镜像2.2

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

springboot项目打jar制作成镜像并指定配置文件位置方式

《springboot项目打jar制作成镜像并指定配置文件位置方式》:本文主要介绍springboot项目打jar制作成镜像并指定配置文件位置方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录一、上传jar到服务器二、编写dockerfile三、新建对应配置文件所存放的数据卷目录四、将配置文

Redis的持久化之RDB和AOF机制详解

《Redis的持久化之RDB和AOF机制详解》:本文主要介绍Redis的持久化之RDB和AOF机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述RDB(Redis Database)核心原理触发方式手动触发自动触发AOF(Append-Only File)核

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》:本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de

SpringBoot+Redis防止接口重复提交问题

《SpringBoot+Redis防止接口重复提交问题》:本文主要介绍SpringBoot+Redis防止接口重复提交问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录前言实现思路代码示例测试总结前言在项目的使用使用过程中,经常会出现某些操作在短时间内频繁提交。例

Redis 配置文件使用建议redis.conf 从入门到实战

《Redis配置文件使用建议redis.conf从入门到实战》Redis配置方式包括配置文件、命令行参数、运行时CONFIG命令,支持动态修改参数及持久化,常用项涉及端口、绑定、内存策略等,版本8... 目录一、Redis.conf 是什么?二、命令行方式传参(适用于测试)三、运行时动态修改配置(不重启服务

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的