非关系型数据库--------------------Redis 群集模式

2024-04-06 10:20
文章标签 模式 关系 redis 数据库 群集 --------------------

本文主要是介绍非关系型数据库--------------------Redis 群集模式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

一、集群原理

二、集群的作用

（1）数据分区

（2）高可用

 Redis集群的作用和优势

三、Redis集群的数据分片

四、Redis集群的工作原理

五、搭建redis群集模式

5.1启用脚本配置集群

5.2修改集群配置

5.3启动redis节点

5.4启动集群

5.5测试群集

一、集群原理

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点

只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制

Cluster模式是Redis的一种高级集群模式，它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下，Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据，称为槽位。通过对数据的分片，Cluster模式可以突破单节点的内存限制，实现更大规模的数据存储。

二、集群的作用

（1）数据分区

数据分区(或称数据分片)是集群最核心的功能

集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；

另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。

Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；

例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

（2）高可用

集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

 Redis集群的作用和优势

  1. 高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。
  2. 负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统的整体性能。
  3. 容灾恢复：通过主从复制或哨兵模式，Redis集群可以在主节点出现故障时，快速切换到从节点，实现业务的无缝切换。
  4. 数据分片：在Cluster模式下，Redis集群可以将数据分散在不同的节点上，从而突破单节点内存限制，实现更大规模的数据存储。
  5. 易于扩展：Redis集群可以根据业务需求和系统负载，动态地添加或移除节点，实现水平扩展

三、Redis集群的数据分片

  • Redis集群引入了哈希槽的概念
  • Redis集群有16384个哈希槽（编号0-16383）
  • 集群的每个节点负责一部分哈希槽

每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作

以3个节点组成的集群为例

节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用

集群功能：
既可以实现高可用，又支持读写负载均衡，且可以横向扩容，更灵活。缺点成本高！

四、Redis集群的工作原理

  • 集群有多组节点，每组节点负责一部分哈希槽。
  • 读写数据时，先针对key根据crc16的算法得出一个结果，然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点，进行数据读写。
  • 集群每组节点内做主从复制，当主节点宕机的时候，就会启用从节点。主节点负责读写请求和集群信息的维护；从节点负责主节点数据和状态信息的复制。

五、搭建redis群集模式

redis的集群一般需要6个节点，3主3从

方便起见，这里所有节点在同一台服务器上模拟：
以端口号进行区分：3个主节点端口号：6001/6002/6003

                                对应的从节点端口号：6004/6005/6006

5.1启用脚本配置集群

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf
[root@localhost redis]#mkdir -p redis-cluster/redis600{1..6}
[root@localhost redis]#ls
6379.conf  redis-cluster
[root@localhost redis]#ls -p redis-cluster/
redis6001/  redis6002/  redis6003/  redis6004/  redis6005/  redis6006/
[root@localhost redis]#vim redis-cluster.sh
[root@localhost redis]#cat redis-cluster.sh
#!/bin/bash
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
[root@localhost redis]#bash redis-cluster.sh
[root@localhost redis]#

for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done

5.2修改集群配置

[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf  redis-cluster  redis-cluster.sh
[root@localhost redis]#cd redis-cluster/
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cd /etc/redis/redis-cluster/redis6001
[root@localhost redis6001]#ls
redis-cli  redis.conf  redis-server
[root@localhost redis6001]#vim redis.conf
vim redis.conf
------------------------------------
#bind 127.0.0.1							#69行，注释掉bind 项，默认监听所有网卡
protected-mode no						#88行，修改，关闭保护模式
port 6001								#92行，修改，redis监听端口，
daemonize yes							#136行，开启守护进程，以独立进程启动
cluster-enabled yes						#832行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf		#840行，取消注释，群集名称文件设置
cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
appendonly yes							#699行，修改，开启AOF持久化

#开启群集功能：
#其他5个文件夹的配置文件以此类推修改，注意6个端口都要不一样

修改redis6002

cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6002/redis.conf

修改redis6003

[root@localhost redis6002]#cd ../
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6003/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"？ yes
[root@localhost redis-cluster]#cd redis6003
[root@localhost redis6003]#ls
redis-cli  redis.conf  redis-server
[root@localhost redis6003]#vim redis.conf 
[root@localhost redis6003]#

修改redis6004   可以修改前先做备份 

cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6004/redis.conf

修改redis6005

[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6005/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"？ yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6005/redis.conf

修改redis6006

[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6006/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"？ yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6006/redis.conf

5.3启动redis节点

分别进入那六个文件夹，执行命令：redis-server redis.conf ，来启动redis节点

cd /etc/redis/redis-cluster/redis6001  #进入对应实例1目录
redis-server redis.conf  #执行启动redis实例1......

for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done

[root@localhost redis-cluster]#vim redis.sh
[root@localhost redis-cluster]#cat redis.sh
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#
[root@localhost redis-cluster]#bash redis.sh
52754:C 05 Apr 2024 23:14:37.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52754:C 05 Apr 2024 23:14:37.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52754, just started
52754:C 05 Apr 2024 23:14:37.775 # Configuration loaded
52756:C 05 Apr 2024 23:14:37.786 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52756:C 05 Apr 2024 23:14:37.786 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52756, just started
52756:C 05 Apr 2024 23:14:37.786 # Configuration loaded
52761:C 05 Apr 2024 23:14:37.793 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52761:C 05 Apr 2024 23:14:37.793 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52761, just started
52761:C 05 Apr 2024 23:14:37.793 # Configuration loaded
52763:C 05 Apr 2024 23:14:37.810 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52763:C 05 Apr 2024 23:14:37.810 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52763, just started
52763:C 05 Apr 2024 23:14:37.810 # Configuration loaded
52765:C 05 Apr 2024 23:14:37.835 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52765:C 05 Apr 2024 23:14:37.835 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52765, just started
52765:C 05 Apr 2024 23:14:37.835 # Configuration loaded
52773:C 05 Apr 2024 23:14:37.853 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52773:C 05 Apr 2024 23:14:37.854 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52773, just started
52773:C 05 Apr 2024 23:14:37.854 # Configuration loaded
[root@localhost redis-cluster]#ps -elf|grep redis
5 S root      44354      1  0  80   0 - 41826 ep_pol 14:40 ?        00:01:36 /usr/local/bin/redis-server 127.0.0.1:6379
5 S root      52755      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6001 [cluster]
5 S root      52760      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6002 [cluster]
5 S root      52762      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6003 [cluster]
5 S root      52764      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6004 [cluster]
5 S root      52772      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6005 [cluster]
5 S root      52780      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6006 [cluster]
0 R root      52793  51689  0  80   0 - 28206 -      23:15 pts/1    00:00:00 grep --color=auto redis

5.4启动集群

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

#六个实例分为三组，每组一主一从，前面的做主节点，后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。
--replicas 1 表示每个主节点有1个从节点

5.5测试群集

[root@localhost redis-cluster]#redis-cli -p 6001 -c  #加-c参数，节点之间就可以互相跳转
127.0.0.1:6001> cluster slots #查看节点的哈希槽编号范围
1) 1) (integer) 109232) (integer) 16383  #哈希槽编号范围3) 1) "127.0.0.1"2) (integer) 6003  #主节点IP和端口号3) "517b6f739d799417531be7a4da7c2b6c59bdb415"4) 1) "127.0.0.1"2) (integer) 6005  #从节点IP和端口号3) "20858bff3d0e515ae4cc9ad80db9464079870af1"
2) 1) (integer) 02) (integer) 54603) 1) "127.0.0.1"2) (integer) 60013) "7ea9f4187a154227822a8bdbda1d505a60ffee18"4) 1) "127.0.0.1"2) (integer) 60063) "f8973b905a037decc67b3ba23d4045ab09ece2b9"
3) 1) (integer) 54612) (integer) 109223) 1) "127.0.0.1"2) (integer) 60023) "4dd33914cc8f0d243cba9c5825d04b01ec509db3"4) 1) "127.0.0.1"2) (integer) 60043) "29bf7ba9fa45ce55be3e7902b78177ca0de126c3"
127.0.0.1:6001>

[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> set name zzz
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002> cluster keyslot name
(integer) 5798
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6002 -c 
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> get name
"zzz"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6003 -c
127.0.0.1:6003> keys *
(empty list or set)
127.0.0.1:6003> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6004 -c
127.0.0.1:6004> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6005 -c
127.0.0.1:6005> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit
[root@localhost redis-cluster]#redis-cli -p 6006 -c
127.0.0.1:6006> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> quit 
[root@localhost redis-cluster]#

集群模式——Cluster
redis cluster 是一个提供高性能、高可用、数据分片、故障转移特性的分布式数据库解决方案，提供一组redis服务之间的网络接口。

  • 数据分片：redis cluster 实现了就爱那个数据自动分片，每个节点都会保存一份数据
  • 故障转移：若个某个节点发生故障，cluster会自动将其上的分片迁移个其他节点
  • 高性能：由于数据分片和网络，redis cluster提供高性能的数据操作
  • 高可能：如果单个节点挂掉了，那么redis cluster 内部会自动进行故障恢复

这篇关于非关系型数据库--------------------Redis 群集模式的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/879671。

相关文章

SQL Server修改数据库名及物理数据文件名操作步骤

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,：本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式（断开连接）2.2 修改数据库名称2.3 查找逻辑文件名
阅读更多...
SQL Server数据库死锁处理超详细攻略

SQL Server数据库死锁处理超详细攻略

《SQLServer数据库死锁处理超详细攻略》SQLServer作为主流数据库管理系统,在高并发场景下可能面临死锁问题,影响系统性能和稳定性,这篇文章主要给大家介绍了关于SQLServer数据库死... 目录一、引言二、查询 Sqlserver 中造成死锁的 SPID三、用内置函数查询执行信息1. sp_w
阅读更多...
Redis Cluster模式配置

Redis Cluster模式配置

《RedisCluster模式配置》：本文主要介绍RedisCluster模式配置,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录分片 一、分片的本质与核心价值二、分片实现方案对比 ‌三、分片算法详解1. ‌范围分片（顺序分片）‌2. ‌哈希分片3. ‌虚
阅读更多...
Springboot整合Redis主从实践

Springboot整合Redis主从实践

《Springboot整合Redis主从实践》：本文主要介绍Springboot整合Redis主从的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言原配置现配置测试LettuceConnectionFactory.setShareNativeConnect
阅读更多...
Redis过期删除机制与内存淘汰策略的解析指南

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略（Key Expir
阅读更多...
RabbitMQ工作模式中的RPC通信模式详解

RabbitMQ工作模式中的RPC通信模式详解

《RabbitMQ工作模式中的RPC通信模式详解》在RabbitMQ中,RPC模式通过消息队列实现远程调用功能,这篇文章给大家介绍RabbitMQ工作模式之RPC通信模式,感兴趣的朋友一起看看吧... 目录RPC通信模式概述工作流程代码案例引入依赖常量类编写客户端代码编写服务端代码RPC通信模式概述在R
阅读更多...
Redis指南及6.2.x版本安装过程

Redis指南及6.2.x版本安装过程

《Redis指南及6.2.x版本安装过程》Redis是完全开源免费的,遵守BSD协议,是一个高性能(NOSQL)的key-value数据库,Redis是一个开源的使用ANSIC语言编写、支持网络、... 目录概述Redis特点Redis应用场景缓存缓存分布式会话分布式锁社交网络最新列表Redis各版本介绍旧
阅读更多...
Java如何从Redis中批量读取数据

Java如何从Redis中批量读取数据

《Java如何从Redis中批量读取数据》：本文主要介绍Java如何从Redis中批量读取数据的情况,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一.背景概述二.分析与实现三.发现问题与屡次改进3.1.QPS过高而且波动很大3.2.程序中断，抛异常3.3.内存消
阅读更多...
Redis中的Lettuce使用详解

Redis中的Lettuce使用详解

《Redis中的Lettuce使用详解》Lettuce是一个高级的、线程安全的Redis客户端,用于与Redis数据库交互,Lettuce是一个功能强大、使用方便的Redis客户端,适用于各种规模的J... 目录简介特点连接池连接池特点连接池管理连接池优势连接池配置参数监控常用监控工具通过JMX监控通过Pr
阅读更多...
Druid连接池实现自定义数据库密码加解密功能

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2