Centos 6.5 redis cluster集群搭建

2024-08-22 14:58

本文主要是介绍Centos 6.5 redis cluster集群搭建,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Centos 6.5 redis cluster集群搭建

参考文章:Redis 学习笔记(十四)Redis Cluster介绍与搭建

前言

对于redis集群的创建,总体来说可以分为两种方式:

1.

使用redis replication功能对redis进行复制,同时对于主从进行读写分离。使用redis sentinel保证redis集群的高可用性。

这种方式有以下优点:

  • 可支持横向扩容,当吞吐量峰值更高时,可以通过扩容slave节点,能支撑更高的读QPS

但是也有以下缺点:

  • 通常情况下是一个master节点,即便做了读写分离,最多只能支撑几万的写QPS(简单的数据结构情况下,更复杂的数据可能更低)
  • 做读写分离的时候,redis客户端(比如jedis)对于这方面的读写分离支持不足。可能需要拓展和封装,或者修改源码
  • 做横向扩容的时候,需要注意不能采取星状机构,需要采取树状结构(星状结构会导致master节点挂载很多slave节点,做数据复制的时候对master节点压力大)
  • 需要维护一套sentinel集群来达到高可用目的

2.

redis 3.0版本推出了redis cluster。有效解决了redis分布式方面的需求。redis cluster集合了replication,sentinel功能,同时支持多master的横向扩容。可以很好的解决流量瓶颈方面的问题。使用redis cluster可以突破流量瓶颈。

相对来说,redis cluster是一个分布式解决方案。但是也有以下的功能限制:

  • key批量操作支持有限。目前只支持具有相同slot值的key执行批量操作
  • key事务操作支持有限,支持在同一个节点上的事务操作,不支持多个节点的事务。

本篇文章对于redis cluster的一些基础知识进行介绍以及如何搭建一个redis cluster集群。

数据分布理论

分布式数据库首要解决把数据按照某种规则映射到多个节点的问题,每个节点负责整个数据的一个子集。常见的分区有哈希分区和顺序分区。redis cluster采取哈希分区规则。常见的哈希分区有以下几种:

  • 节点取余分区
  • 一致性哈希分区
  • 虚拟槽分区

redis cluster采用了虚拟槽分区,所有的键根据哈希函数映射到0-16383slot中,计算公式为:slot = CRC16(key)&16383.每个节点负责维护一部分slot以及slot所映射的键值数据。

搭建redis cluster

环境
  • CentOs 6.5
  • Redis 4.0.9 (2018/4/10最新版本)
节点

redis cluster集群一般由多个节点组成,节点数量为6个以上才能保证高可用的集群。

这里列出一个节点的配置
复制redis目录下的utils/redis_init_scriptredis_7000:

修改以下内容:

REDISPORT=7000

然后把该文件拷贝到/etc/init.d/目录下。

拷贝redis目录下的redis.conf/etc/redis/7000.conf,修改以下内容:

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
daemonize yes
pidfile  /var/run/redis_7000.pid
dir      /var/reids/7000
logfile  /var/log/redis/7000.log
bind 192.168.1.103 //本机IP地址
appendonly yes

然后创建以下文件夹:

  • /var/redis/7000
  • /var/log/redis/

然后去到/etc/init.d/目录下面执行./redis_7000 start命令启动一个redis实例。通过查看/var/log/redis/7000.log查看是否启动成功。

按照上面的方法部署6个实例。如果6个实例都在不同的机器上的话,直接复制配置文件过去即可。如果一台机器跑2个或以上的实例,则需要注意修改端口号。

假如你用于测试,所有的节点都跑在同一台机器上面,配置文件可以改成下面这样:

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 39.10X.XX.XX //自己服务器IP
cluster-announce-port 7000
cluster-announce-bus-port 17000
daemonize yes
pidfile  /var/run/redis_7000.pid
dir      /var/reids/7000
logfile  /var/log/redis/7000.log
appendonly yes

将6个redis实例跑起来之后就可以了。目前redis的集群已经跑起来,但是还无法工作。

创建集群

创建集群使用ruby相关的工具,则需要执行以下命令安装ruby:

yum install -y ruby
yum install -y rubygems
gem install redis

在执行gem install redis是时候如果爆出如下错误:

 gem install redis
ERROR:  Error installing redis:redis requires Ruby version >= 2.2.2.

这是由于系统为centos 6.5默认安装的Ruby版本为1.8.7所以需要升级到2.2.2以上。

执行以下命令:

gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3curl -L get.rvm.io | bash -s stablesource /usr/local/rvm/scripts/rvm# 查看可用的ruby版本
rvm list known# 安装2.3.4版本
rvm install 2.3.4# 设置默认版本
rvm use 2.3.4gem install redis

这样就可以成功安装了。安装完了之后,复制redis目录下的src/redis-trib.rb文件到/usr/local/bin中。

然后使用如下方式创建集群:

redis-trib.rb create --replicas 1 192.168.1.103:7000 \
192.168.1.103:7001 192.168.1.104:7002 192.168.1.104:7003 \
192.168.1.105:7004 192.168.1.105:7005

执行过程中会询问你是否可以分配slot,输入yes.

其中参数--replicas表示每个master有一个slave,如果没有什么意外的话,redis集群以及搭建完毕。可以通过以下命令检查集群的状态:

redis-trib.rb check 192.168.1.103:7001

这篇关于Centos 6.5 redis cluster集群搭建的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096596

相关文章

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结

Redis的持久化之RDB和AOF机制详解

《Redis的持久化之RDB和AOF机制详解》:本文主要介绍Redis的持久化之RDB和AOF机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述RDB(Redis Database)核心原理触发方式手动触发自动触发AOF(Append-Only File)核

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

如何使用Haporxy搭建Web群集

《如何使用Haporxy搭建Web群集》Haproxy是目前比较流行的一种群集调度工具,同类群集调度工具有很多如LVS和Nginx,本案例介绍使用Haproxy及Nginx搭建一套Web群集,感兴趣的... 目录一、案例分析1.案例概述2.案例前置知识点2.1 HTTP请求2.2 负载均衡常用调度算法 2.

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》:本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de

SpringBoot+Redis防止接口重复提交问题

《SpringBoot+Redis防止接口重复提交问题》:本文主要介绍SpringBoot+Redis防止接口重复提交问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录前言实现思路代码示例测试总结前言在项目的使用使用过程中,经常会出现某些操作在短时间内频繁提交。例

Redis 配置文件使用建议redis.conf 从入门到实战

《Redis配置文件使用建议redis.conf从入门到实战》Redis配置方式包括配置文件、命令行参数、运行时CONFIG命令,支持动态修改参数及持久化,常用项涉及端口、绑定、内存策略等,版本8... 目录一、Redis.conf 是什么?二、命令行方式传参(适用于测试)三、运行时动态修改配置(不重启服务

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

Redis Cluster模式配置

《RedisCluster模式配置》:本文主要介绍RedisCluster模式配置,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录分片 一、分片的本质与核心价值二、分片实现方案对比 ‌三、分片算法详解1. ‌范围分片(顺序分片)‌2. ‌哈希分片3. ‌虚