redis能够很好应对高并发且快速的原因 以及最常说的 IO多路复用和 双写一致性

本文主要是介绍redis能够很好应对高并发且快速的原因 以及最常说的 IO多路复用和 双写一致性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本篇讨论下面几个问题:
(1) 为什么说redis是单线程的?
(2) 为什么大家会选择redis来解决一些高并发的问题.
(3) Redis的IO多路复用的理解.
(4) Redis的使用过程中 会出现的双写一致性问题.

简要总结为:

一. redis为什么是单线程的:
  • 官方解答:
    是基于内存操作的, 内存的读写速度是非常快的, 普通的笔记本电脑,没秒都能处理几十万的请求量. 所以CPU(内存里的操作) 不会成为redis的性能瓶颈. redis的瓶颈最有可能是内存的大小和网络通信能力;
  • 另一方面: 是由于Redis的线程模型决定的:
    Redis内部使用了文件事件处理器 file event handler, 这个文件事件处理器是单线程的, 所以Redis’才叫做单线程的模型, 它采用IO多路复用机制同时监听多个Socket, 根据Socket上的事件来选择对应的事件处理器进行处理.
    – 文件事件处理器包含4个部分:
    • IO 多路复用程序
    • 多个Socket
    • 文件事件分派器
    • 事件处理器
  1. redis的单线程的优势
    (1) 不用考虑锁的问题
    单个线程不存在多线程同时操作同一个对象的情况, 锁会导致同步的消耗大大增加. redis虽说是nosql的, 但是其中一些复杂的操作, 比如对list类型的插入和删除,对hash类型数据的增删, 都需要大量的锁来保证整个线程的原子性, 但是 如果是单线程, 就完全不用担心这个问题.
    (2) 减少了线程的上下文切换的时间消耗
    不存在多线程或者多进程导致的上下文切换 对CPU的消耗.
二. redis为什么可以解决高并发问题
  • redis高并发和快速的原因:
    (1) redis是基于内存的操作,内存的读写速度非常快;
    (2) redis是单线程的,省去了很多线程上下文切换的时间和消耗;
    (3) redis采用IO多路复用技术, 可以处理并发的链接. 采用epoll的多路复用技术,绝对不在IO上浪费一点时间.
三.关于IO多路复用技术
  • 多路-指的是多个socket连接,复用-指的是复用一个线程。多路复用主要有三种技术:select,poll,epoll。epoll是最新的也是目前最好的多路复用技术。这里“多路”指的是多个网络连接,“复用”指的是复用同一个线程。采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),且Redis在内存中操作数据的速度非常快(内存内的操作不会成为这里的性能瓶颈),主要以上两点造就了Redis具有很高的吞吐量。
四. redis常见问题
  1. 性能问题和解决方案
    (1) Master最好不要做任何持久化工作,如RDB内存快照和AOF日志文件;(Master写内存快照,save命令调度rdbSave函数,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以Master最好不要写内存快照;AOF文件过大会影响Master重启的恢复速度)
    (2) 如果数据比较重要,某个Slave开启AOF备份数据,策略设置为每秒同步一次
    (3) 为了主从复制的速度和连接的稳定性,Master和Slave最好在同一个局域网内
    (4) 尽量避免在压力很大的主库上增加从库
    (5) 主从复制不要用图状结构,用单向链表结构更为稳定,即:Master <- Slave1 <- Slave2 <- Slave3…;这样的结构方便解决单点故障问题,实现Slave对Master的替换。如果Master挂了,可以立刻启用Slave1做Master,其他不变。
  2. redis的回收策略
    • volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
    • volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
    • volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
    • allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
    • allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰
    • no-enviction(驱逐):禁止驱逐数据 注意这里的6种机制,
      – volatile和allkeys规定了,是对已设置过期时间的数据集淘汰数据,还是从全部数据集淘汰数据。
      – 后面的lru、ttl以及random是三种不同的淘汰策略,再加上一种no-enviction永不回收的策略。
五. 既然讲到了epoll多路复用, 这里说一下几种常见的IO

这里借用一下一个很好的例子, 浅显易懂:
IO 多路复用是5种I/O模型中的第3种,对各种模型讲个故事,描述下区别:

故事情节为:老李去买火车票,三天后买到一张退票。参演人员(老李,黄牛,售票员,快递员),往返车站耗费1小时。

  1. 阻塞I/O模型

老李去火车站买票,排队三天买到一张退票。
耗费:在车站吃喝拉撒睡 3天,其他事一件没干。

  1. 非阻塞I/O模型

老李去火车站买票,隔12小时去火车站问有没有退票,三天后买到一张票。
耗费:往返车站6次,路上6小时,其他时间做了好多事。

  1. I/O复用模型

select/poll
老李去火车站买票,委托黄牛,然后每隔6小时电话黄牛询问,黄牛三天内买到票,然后老李去火车站交钱领票。
耗费:往返车站2次,路上2小时,黄牛手续费100元,打电话17次

epoll
老李去火车站买票,委托黄牛,黄牛买到后即通知老李去领,然后老李去火车站交钱领票。
耗费:往返车站2次,路上2小时,黄牛手续费100元,无需打电话。

epoll : 进程只要等待在epoll上,epoll 代替进程去各个文件描述符上等待,当哪个文件描述符可读或者可写的时候就告诉epoll,epoll用小本本认真记录下来然后唤醒大哥:“进程大哥,快醒醒,你要处理的文件描述符我都记下来了”。
这样进程被唤醒后就无需自己从头到尾检查一遍,因为epoll都已经记下来了。因此我们可以看到,在这种机制下,实际上利用的就是“不要打电话给我,有需要我会打给你”,这就不需要一遍一遍像孙子一样问各个文件描述符了,而是翻身做主人当大爷了,“你们那个文件描述符可读或者可写了主动报上来”,这中机制实际上就是大名鼎鼎的 —— 事件驱动,event-driven。(https://ssup2.github.io/theory_analysis/Event_Driven_Architecture_on_Linux/)

所谓事件驱动, 来一张图:
解释一下IO多路复用的原理: I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态(对应空管塔里面的Fight progress strip槽)来同时管理多个I/O流. 发明它的原因,是尽量多的提高服务器的吞吐能力。在这里插入图片描述

简单说epoll和select/poll最大区别是:
1.epoll内部使用了mmap共享了用户和内核的部分空间,避免了数据的来回拷贝
2.epoll基于事件驱动,epoll_ctl注册事件,并注册callback回调函数,epoll_wait只返回发生的事件,避免了像select和poll对事件的整个轮询操作。
3.nginx中使用了epoll,是基于事件驱动模型的。由一个或多个事件收集器来收集或者分发事件,epoll就属于事件驱动模型的事件收集器,将注册过的事件中发生的事件收集起来,master进程负责管理worker进程。

  1. 信号驱动I/O模型

老李去火车站买票,给售票员留下电话,有票后,售票员电话通知老李,然后老李去火车站交钱领票。
耗费:往返车站2次,路上2小时,免黄牛费100元,无需打电话

  1. 异步I/O模型

老李去火车站买票,给售票员留下电话,有票后,售票员电话通知老李并快递送票上门。
耗费:往返车站1次,路上1小时,免黄牛费100元,无需打电话。

1同2的区别是:自己轮询
2同3的区别是:委托黄牛
3同4的区别是:电话代替黄牛
4同5的区别是:电话通知是自取还是送票上门

六 Redis的双写一致性

redis双写一致性
敖丙的: 大厂面试官喜欢这样问Redis,双写一致性、并发竞争、线程模型

  1. 先更新数据库再更新缓存
  2. 先删除缓存再更新数据库
  3. 先删除缓存在更新数据库(双删)
    延时双删策略最终将redis删除掉,等下一次查询的时候会把最新的数据缓存到redis中,虽然解决了缓存不一致性,但是牺牲了性能.
  4. 先更新数据库在删除缓存

总结: 如果是系统要求强一致性,
(1) 使用锁机制,当然可以使用读写锁,保证效率;
(2) 读请求和写请求串行化,串到一个内存队列里去。串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低.

这篇关于redis能够很好应对高并发且快速的原因 以及最常说的 IO多路复用和 双写一致性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/170252

相关文章

Spring Security 前后端分离场景下的会话并发管理

《SpringSecurity前后端分离场景下的会话并发管理》本文介绍了在前后端分离架构下实现SpringSecurity会话并发管理的问题,传统Web开发中只需简单配置sessionManage... 目录背景分析传统 web 开发中的 sessionManagement 入口ConcurrentSess

redis数据结构之String详解

《redis数据结构之String详解》Redis以String为基础类型,因C字符串效率低、非二进制安全等问题,采用SDS动态字符串实现高效存储,通过RedisObject封装,支持多种编码方式(如... 目录一、为什么Redis选String作为基础类型?二、SDS底层数据结构三、RedisObject

C#使用Spire.XLS快速生成多表格Excel文件

《C#使用Spire.XLS快速生成多表格Excel文件》在日常开发中,我们经常需要将业务数据导出为结构清晰的Excel文件,本文将手把手教你使用Spire.XLS这个强大的.NET组件,只需几行C#... 目录一、Spire.XLS核心优势清单1.1 性能碾压:从3秒到0.5秒的质变1.2 批量操作的优雅

Go中select多路复用的实现示例

《Go中select多路复用的实现示例》Go的select用于多通道通信,实现多路复用,支持随机选择、超时控制及非阻塞操作,建议合理使用以避免协程泄漏和死循环,感兴趣的可以了解一下... 目录一、什么是select基本语法:二、select 使用示例示例1:监听多个通道输入三、select的特性四、使用se

Redis分布式锁中Redission底层实现方式

《Redis分布式锁中Redission底层实现方式》Redission基于Redis原子操作和Lua脚本实现分布式锁,通过SETNX命令、看门狗续期、可重入机制及异常处理,确保锁的可靠性和一致性,是... 目录Redis分布式锁中Redission底层实现一、Redission分布式锁的基本使用二、Red

redis和redission分布式锁原理及区别说明

《redis和redission分布式锁原理及区别说明》文章对比了synchronized、乐观锁、Redis分布式锁及Redission锁的原理与区别,指出在集群环境下synchronized失效,... 目录Redis和redission分布式锁原理及区别1、有的同伴想到了synchronized关键字

Spring Integration Redis 使用示例详解

《SpringIntegrationRedis使用示例详解》本文给大家介绍SpringIntegrationRedis的配置与使用,涵盖依赖添加、Redis连接设置、分布式锁实现、消息通道配置及... 目录一、依赖配置1.1 Maven 依赖1.2 Gradle 依赖二、Redis 连接配置2.1 配置 R

Mybatis-Plus 3.5.12 分页拦截器消失的问题及快速解决方法

《Mybatis-Plus3.5.12分页拦截器消失的问题及快速解决方法》作为Java开发者,我们都爱用Mybatis-Plus简化CRUD操作,尤其是它的分页功能,几行代码就能搞定复杂的分页查询... 目录一、问题场景:分页拦截器突然 “失踪”二、问题根源:依赖拆分惹的祸三、解决办法:添加扩展依赖四、分页

MySQL中处理数据的并发一致性的实现示例

《MySQL中处理数据的并发一致性的实现示例》在MySQL中处理数据的并发一致性是确保多个用户或应用程序同时访问和修改数据库时,不会导致数据冲突、数据丢失或数据不一致,MySQL通过事务和锁机制来管理... 目录一、事务(Transactions)1. 事务控制语句二、锁(Locks)1. 锁类型2. 锁粒

c++日志库log4cplus快速入门小结

《c++日志库log4cplus快速入门小结》文章浏览阅读1.1w次,点赞9次,收藏44次。本文介绍Log4cplus,一种适用于C++的线程安全日志记录API,提供灵活的日志管理和配置控制。文章涵盖... 目录简介日志等级配置文件使用关于初始化使用示例总结参考资料简介log4j 用于Java,log4c