kafka之协调服务

2024-05-12 21:58
文章标签 服务 kafka 协调

本文主要是介绍kafka之协调服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

kafka中是使用zookeeper来构建集群的。

zookeeper相信大家都了解过,如果之前没接触过zookeeper的同学,可以参考学习下zookeeper的相关内容。知道zookeeper最核心的功能就是提供了一个分布式的存储系统,数据存储方式类似UNIX系统的文件树形结构。zookeeper保证了数据一致性。

学习zookeeper,我觉得zookeeper中最主要的是抓住两个特性:临时节点和watcher机制。

什么是临时节点?

在zookeeper文件树形存储结构中,每个节点被称为ZNode。zookeeper提供了一种特殊的ZNode类型,即为临时节点。临时节点有一个特性,如果创建临时节点的客户端与zookeeper集群失去了链接,那么这个临时节点也会消失。客户端和集群之前的链接也是通过心跳来维持的。

什么是Watcher机制?

一旦Znode或者它的子节点状态发生了变化,订阅的客户端就会立即收到通知。

kafka中有关zk的,是有个很大的版本差异,0.8.x版本之前,zk中是有存放消费者端消费位置等信息的,后面kafka的团队将这块的内容去zk化了。目前的版本中zk中只保存着kafka的两块信息,

 

左侧的树保存的是kafka的broker信息,红色的0,1代表的就是临时节点,每当有broker节点加入集群提供服务了,都会创建一个对应的临时节点,节点的名称默认就是BrokerID,节点内容包括了Broker的地址、版本号、启动时间等等一些Broker的基本信息。

右侧的树保存的就是主题和分区的信息,每个主题下都有一个固定的partitions节点,partitions节点下挂载着所有的分区0,1,...等多个分区,每个分区下都会有一个名为state的临时节点。这个临时节点保存着这个分区的leader和所有ISR的BrokerID信息。这个临时节点是由leader broker创建的,一旦leader broker宕机了,这些临时节点也会消失,直到下一个leader选举出来,由该leader来再次创建state临时节点。

有了上面的知识,我们就可以回答经常问的面试题,kafka客户端是如何找到对应的broker的?

客户端首先从有右侧的树开始查找对应的主题,对应的分区以及对应的state临时节点,临时节点中记录着leader的信息,拿到brokerid后再去左侧的树中查找。

当然客户端并不是每次都去zk上找对应的数据,kafka在每个broker中都维护了一份和zk中一样的元数据缓存在broker中,并不是每次客户端都去zk上请求数据,由于zk提供了watch的机制,所以当zk中的数据变化了,自然能够及时更新broker中的元数据信息。

 

这篇关于kafka之协调服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/983847

相关文章

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

springboot项目如何开启https服务

《springboot项目如何开启https服务》:本文主要介绍springboot项目如何开启https服务方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录springboot项目开启https服务1. 生成SSL证书密钥库使用keytool生成自签名证书将

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

Spring LDAP目录服务的使用示例

《SpringLDAP目录服务的使用示例》本文主要介绍了SpringLDAP目录服务的使用示例... 目录引言一、Spring LDAP基础二、LdapTemplate详解三、LDAP对象映射四、基本LDAP操作4.1 查询操作4.2 添加操作4.3 修改操作4.4 删除操作五、认证与授权六、高级特性与最佳

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

SpringCloud之LoadBalancer负载均衡服务调用过程

《SpringCloud之LoadBalancer负载均衡服务调用过程》:本文主要介绍SpringCloud之LoadBalancer负载均衡服务调用过程,具有很好的参考价值,希望对大家有所帮助,... 目录前言一、LoadBalancer是什么?二、使用步骤1、启动consul2、客户端加入依赖3、以服务

一文详解kafka开启kerberos认证的完整步骤

《一文详解kafka开启kerberos认证的完整步骤》这篇文章主要为大家详细介绍了kafka开启kerberos认证的完整步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、kerberos安装部署二、准备机器三、Kerberos Server 安装1、配置krb5.con

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题

springboot的调度服务与异步服务使用详解

《springboot的调度服务与异步服务使用详解》本文主要介绍了Java的ScheduledExecutorService接口和SpringBoot中如何使用调度线程池,包括核心参数、创建方式、自定... 目录1.调度服务1.1.JDK之ScheduledExecutorService1.2.spring