kafka之协调服务

2024-05-12 21:58
文章标签 服务 kafka 协调

本文主要是介绍kafka之协调服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

kafka中是使用zookeeper来构建集群的。

zookeeper相信大家都了解过,如果之前没接触过zookeeper的同学,可以参考学习下zookeeper的相关内容。知道zookeeper最核心的功能就是提供了一个分布式的存储系统,数据存储方式类似UNIX系统的文件树形结构。zookeeper保证了数据一致性。

学习zookeeper,我觉得zookeeper中最主要的是抓住两个特性:临时节点和watcher机制。

什么是临时节点?

在zookeeper文件树形存储结构中,每个节点被称为ZNode。zookeeper提供了一种特殊的ZNode类型,即为临时节点。临时节点有一个特性,如果创建临时节点的客户端与zookeeper集群失去了链接,那么这个临时节点也会消失。客户端和集群之前的链接也是通过心跳来维持的。

什么是Watcher机制?

一旦Znode或者它的子节点状态发生了变化,订阅的客户端就会立即收到通知。

kafka中有关zk的,是有个很大的版本差异,0.8.x版本之前,zk中是有存放消费者端消费位置等信息的,后面kafka的团队将这块的内容去zk化了。目前的版本中zk中只保存着kafka的两块信息,

 

左侧的树保存的是kafka的broker信息,红色的0,1代表的就是临时节点,每当有broker节点加入集群提供服务了,都会创建一个对应的临时节点,节点的名称默认就是BrokerID,节点内容包括了Broker的地址、版本号、启动时间等等一些Broker的基本信息。

右侧的树保存的就是主题和分区的信息,每个主题下都有一个固定的partitions节点,partitions节点下挂载着所有的分区0,1,...等多个分区,每个分区下都会有一个名为state的临时节点。这个临时节点保存着这个分区的leader和所有ISR的BrokerID信息。这个临时节点是由leader broker创建的,一旦leader broker宕机了,这些临时节点也会消失,直到下一个leader选举出来,由该leader来再次创建state临时节点。

有了上面的知识,我们就可以回答经常问的面试题,kafka客户端是如何找到对应的broker的?

客户端首先从有右侧的树开始查找对应的主题,对应的分区以及对应的state临时节点,临时节点中记录着leader的信息,拿到brokerid后再去左侧的树中查找。

当然客户端并不是每次都去zk上找对应的数据,kafka在每个broker中都维护了一份和zk中一样的元数据缓存在broker中,并不是每次客户端都去zk上请求数据,由于zk提供了watch的机制,所以当zk中的数据变化了,自然能够及时更新broker中的元数据信息。

 

这篇关于kafka之协调服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/983847

相关文章

Spring Boot 与微服务入门实战详细总结

《SpringBoot与微服务入门实战详细总结》本文讲解SpringBoot框架的核心特性如快速构建、自动配置、零XML与微服务架构的定义、演进及优缺点,涵盖开发环境准备和HelloWorld实战... 目录一、Spring Boot 核心概述二、微服务架构详解1. 微服务的定义与演进2. 微服务的优缺点三

RabbitMQ消息总线方式刷新配置服务全过程

《RabbitMQ消息总线方式刷新配置服务全过程》SpringCloudBus通过消息总线与MQ实现微服务配置统一刷新,结合GitWebhooks自动触发更新,避免手动重启,提升效率与可靠性,适用于配... 目录前言介绍环境准备代码示例测试验证总结前言介绍在微服务架构中,为了更方便的向微服务实例广播消息,

关于DNS域名解析服务

《关于DNS域名解析服务》:本文主要介绍关于DNS域名解析服务,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录DNS系统的作用及类型DNS使用的协议及端口号DNS系统的分布式数据结构DNS的分布式互联网解析库域名体系结构两种查询方式DNS服务器类型统计构建DNS域

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素

java向微信服务号发送消息的完整步骤实例

《java向微信服务号发送消息的完整步骤实例》:本文主要介绍java向微信服务号发送消息的相关资料,包括申请测试号获取appID/appsecret、关注公众号获取openID、配置消息模板及代码... 目录步骤1. 申请测试系统2. 公众号账号信息3. 关注测试号二维码4. 消息模板接口5. Java测试

SpringBoot服务获取Pod当前IP的两种方案

《SpringBoot服务获取Pod当前IP的两种方案》在Kubernetes集群中,SpringBoot服务获取Pod当前IP的方案主要有两种,通过环境变量注入或通过Java代码动态获取网络接口IP... 目录方案一:通过 Kubernetes Downward API 注入环境变量原理步骤方案二:通过

如何搭建并配置HTTPD文件服务及访问权限控制

《如何搭建并配置HTTPD文件服务及访问权限控制》:本文主要介绍如何搭建并配置HTTPD文件服务及访问权限控制的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、安装HTTPD服务二、HTTPD服务目录结构三、配置修改四、服务启动五、基于用户访问权限控制六、

SpringBoot实现Kafka动态反序列化的完整代码

《SpringBoot实现Kafka动态反序列化的完整代码》在分布式系统中,Kafka作为高吞吐量的消息队列,常常需要处理来自不同主题(Topic)的异构数据,不同的业务场景可能要求对同一消费者组内的... 目录引言一、问题背景1.1 动态反序列化的需求1.2 常见问题二、动态反序列化的核心方案2.1 ht

SpringCloud整合MQ实现消息总线服务方式

《SpringCloud整合MQ实现消息总线服务方式》:本文主要介绍SpringCloud整合MQ实现消息总线服务方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、背景介绍二、方案实践三、升级版总结一、背景介绍每当修改配置文件内容,如果需要客户端也同步更新,

linux服务之NIS账户管理服务方式

《linux服务之NIS账户管理服务方式》:本文主要介绍linux服务之NIS账户管理服务方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、所需要的软件二、服务器配置1、安装 NIS 服务2、设定 NIS 的域名 (NIS domain name)3、修改主