broker集群

2024-03-30 14:44
文章标签 集群 broker

本文主要是介绍broker集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为了增强broker性能和吞吐率,broker一般都是以集群形式出现的。为了某个broker宕机时,数据不丢失,会将每个broker集群点进行横向扩展。

 broker节点集群具有master和slave俩中角色。slave就是对master中数据的备份。master负责处理读写操作请求,而slave只在master挂了之后才会负责读写操作。一个master可以有多个slave,但一个slave只能有一个master。一个master和0个或多个slave为一个broker集群。

broker集群是主备集群,master和salve的对应关系是通过指定相同的brokerName,不同的brokerId指定的。0为master,非0为slave。

broker中master和slave之间的复制策略:

   同步复制:消息写入master后,master会等待slave同步数据成功后才会向producer发送成功ACK。

    异步复制:消息写入broker后,master会立即向producer返回ACK,无需等待slave同步数据成功。异步复制降低了系统的延迟,提高了系统吞吐率。

输盘策略:指broker中的消息的落盘方式,即消息发送到broker内存后消息持久化到磁盘的方式。

  同步刷盘:当消息持久化到broker磁盘后才算成功。

  异步刷盘:当消息写入broker内存后即表示消息写入成功,无需等待消息持久化到磁盘。消息写入到broker的内存,一般是写入到pagecache缓存,返回成功标识,当该缓存中数据达到一定量后,才会一次性写入磁盘。

broker集群模式:

   单master:只有一个master(本质上不能被称为集群),只能在测试中中使用。

   多master:broker集群仅有多个master构成,不存在slave,一个topic的多个queue会平均的分配到多个master节点上。优点:配置简单,在配置为RAID10的磁盘阵列情况下(这种磁盘很可靠,异步丢失少量消息,同步刷盘不丢失消息)时,即使宕机也几乎没有影响。缺点:单机宕机期间,宕机机器上未被消费的消息在该机器重启前不可被消费,即该机器可写入不可读取。

   多master多slave模式-异步模式:broker由多个master构成,每个master又配置了多个slave(配置了RAID磁盘阵列情况下,一个master配置一个slave即可)。master负责处理消息的读写请求,slave仅负责消息的备份和master宕机后及时接替master进行工作。                                                  优点:当master宕机后,slave能自动切换成master。不过由于slave切换为master会有短暂的延迟(毫秒级),所以当master宕机后,可能会存在少量的消息丢失问题。(这是在采用了RAID磁盘阵列的情况下,不然丢失的更多)。

  多master多salve模式-同步模式:同步双写,master和slave都写入成功后才会返回ACK。优点:消息安全性高,不存在消息丢失情况。缺点:master宕机后,slave不能自动切换为master。

这篇关于broker集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/861769

相关文章

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》:本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx

Redis高可用-主从复制、哨兵模式与集群模式详解

《Redis高可用-主从复制、哨兵模式与集群模式详解》:本文主要介绍Redis高可用-主从复制、哨兵模式与集群模式的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录Redis高可用-主从复制、哨兵模式与集群模式概要一、主从复制(Master-Slave Repli

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

Nacos集群数据同步方式

《Nacos集群数据同步方式》文章主要介绍了Nacos集群中服务注册信息的同步机制,涉及到负责节点和非负责节点之间的数据同步过程,以及DistroProtocol协议在同步中的应用... 目录引言负责节点(发起同步)DistroProtocolDistroSyncChangeTask获取同步数据getDis

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r