Kafka【六】Linux下安装Kafka(Zookeeper)集群

2024-09-04 14:28
文章标签 linux 集群 安装 zookeeper kafka

本文主要是介绍Kafka【六】Linux下安装Kafka(Zookeeper)集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Kafka从早期的消息传输系统转型为开源分布式事件流处理平台系统，所以很多核心组件，核心操作都是基于分布式多节点的。本文这里采用三台虚拟机模拟真实物理主机搭建Zookeeper集群和kafka集群。

VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。生产环境中，我们会使用多台服务器搭建Kafka集群系统，但是对于学习来讲，准备多台独立的服务器还是比较困难的，所以我们这里采用虚拟机的方式进行学习。

在这里插入图片描述

【1】安装jdk1.8

① 卸载现有jdk

# 不同节点都要执行操作
rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

② 上传压缩包

将jdk-8u212-linux-x64.tar.gz文件上传到虚拟机的/opt/softinstall目录中

③ 解压JDK到/opt/module目录下

[root@localhost ~]# cd /opt/softinstall/[root@localhost ~]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

④ 配置JDK环境变量

新建/etc/profile.d/my_env.sh文件，

 vim /etc/profile.d/my_env.sh

添加如下内容，保存后退出。

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使新的环境变量PATH生效

source /etc/profile

检测是否生效：

[root@centos3 softinstall]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

三个节点上都要配置jdk环境。

【2】安装Zookeeper

① 上传ZooKeeper压缩包

将apache-zookeeper-3.7.1-bin.tar.gz文件上传到三台虚拟机的/opt/softinstall目录中

② 解压ZooKeeper压缩包

# 进入到/opt/softinstall目录中
cd /opt/softinstall/# 解压缩文件到指定目录
tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /opt/module/# 进入/opt/module目录
cd /opt/module# 文件目录改名
mv apache-zookeeper-3.7.1-bin/ zookeeper

③ 配置服务器编号

(1)在/opt/module/zookeeper/目录下创建zkData

# 进入/opt/module/zookeeper目录
cd /opt/module/zookeeper

# 创建zkData文件目录
mkdir zkData

(2)创建myid文件

# 进入/opt/module/zookeeper/zkData目录 
cd /opt/module/zookeeper/zkData# 创建myid文件
vim myid

(3)在文件中增加内容

1

服务器与编号对应关系如下:

Centos1：1
Centos2：2
Centos3：3

④ 修改配置文件

(1)重命名/opt/module/zookeeper/conf目录下的zoo_sample.cfg文件为zoo.cfg文件

# 进入cd /opt/module/zookeeper/conf文件目录
cd /opt/module/zookeeper/conf# 修改文件名称
mv zoo_sample.cfg zoo.cfg

(2)修改zoo.cfg文件

# 修改文件内容
vim zoo.cfg# 以下内容为修改内容
dataDir=/opt/module/zookeeper/zkData# 以下内容为新增内容
####################### cluster ##########################
# server.A=B:C:D
#
# A是一个数字，表示这个是第几号服务器
# B是A服务器的主机名
# C是A服务器与集群中的主服务器（Leader）交换信息的端口
# D是A服务器用于主服务器（Leader）选举的端口
#########################################################
server.1=centos1:2888:3888
server.2=centos2:2888:3888
server.3=centos3:2888:3888

上述操作针对其他两台虚拟机同样执行。

⑤ 启动/关闭/查看状态

启动ZooKeeper

# 进入zookeeper目录
cd /opt/module/zookeeper# 启动ZK服务
bin/zkServer.sh start

关闭ZooKeeper

# 进入zookeeper目录
cd /opt/module/zookeeper# 关闭ZK服务
bin/zkServer.sh stop

查看ZooKeeper状态

# 进入zookeeper目录
cd /opt/module/zookeeper# 查看ZK服务状态
bin/zkServer.sh status

JPS检测，QuorumPeerMain表示Zookeeper进程

[root@centos1 zookeeper]# jps
2619 Jps
2541 QuorumPeerMain

使用客户端工具可以看到此时Zookeeper的节点：

在这里插入图片描述

【3】安装Kafka

① 上传Kafka压缩包

将kafka_2.12-3.6.1.tgz文件上传到三台虚拟机的/opt/softinstall/目录中

② 解压Kafka压缩包

# 进入/opt/softinstall目录
cd /opt/softinstall# 解压缩文件到指定目录
tar -zxvf kafka_2.12-3.6.1.tgz -C /opt/module/# 进入/opt/module目录
cd /opt/module# 修改文件目录名称
mv kafka_2.12-3.6.1/ kafka

③ 修改配置文件

# 进入cd /opt/module/kafka/config文件目录
cd /opt/module/kafka/config# 修改配置文件
vim server.properties

参考如下配置：

#broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=1#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://centos1:9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个topic创建时的副本数，默认时1个副本
offsets.topic.replication.factor=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=centos1:2181,centos2:2181,centos3:2181/kafka

centos2节点需要修改如下：

#broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=2
#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://centos2:9092
log.dirs=/opt/module/kafka/datas
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=centos1:2181,centos2:2181,centos3:2181/kafka

centos3节点需要修改如下：

#broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=3
#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://centos3:9092
log.dirs=/opt/module/kafka/datas
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=centos1:2181,centos2:2181,centos3:2181/kafka

④ 配置环境变量

(1)修改 /etc/profile.d/my_env.sh文件

vim /etc/profile.d/my_env.sh

(2)添加内容

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

(3)让环境变量生效

source /etc/profile.d/my_env.sh

⑤ 启动/关闭kafka

启动Kafka，启动前请先启动ZooKeeper服务

# 进入/opt/module/kafka目录
cd /opt/module/kafka# 执行启动指令
bin/kafka-server-start.sh -daemon config/server.properties

此时再查看Zookeeper节点如下所示：

在这里插入图片描述

关闭Kafka

# 进入/opt/module/kafka目录
cd /opt/module/kafka# 执行关闭指令
bin/kafka-server-stop.sh

关闭kafka后，查看Zookeeper节点会发现已下线：

在这里插入图片描述

这篇关于Kafka【六】Linux下安装Kafka(Zookeeper)集群的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1136233。

相关文章

linux hostname设置全过程

linux hostname设置全过程

《linuxhostname设置全过程》：本文主要介绍linuxhostname设置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录查询hostname设置步骤其它相关点hostid/etc/hostsEDChina编程A工具license破解注意事项总结以RHE
阅读更多...
Linux中压缩、网络传输与系统监控工具的使用完整指南

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压：数据存储与传输的优化核心1. zip/unzip：通用压缩格式的便捷操作2.
阅读更多...
Python中win32包的安装及常见用途介绍

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,：本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作
阅读更多...
Linux中SSH服务配置的全面指南

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH（SecureShell）服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素
阅读更多...
在Linux终端中统计非二进制文件行数的实现方法

在Linux终端中统计非二进制文件行数的实现方法

《在Linux终端中统计非二进制文件行数的实现方法》在Linux系统中,有时需要统计非二进制文件（如CSV、TXT文件）的行数,而不希望手动打开文件进行查看,例如,在处理大型日志文件、数据文件时,了解... 目录在linux终端中统计非二进制文件的行数技术背景实现步骤1. 使用wc命令2. 使用grep命令
阅读更多...
Linux如何快速检查服务器的硬件配置和性能指标

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程（几C？）1. 使用 nproc（最简单）2. 使用 lscpu（详细信
阅读更多...
linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令，常用的包括shutdown-r、reboot、init6等，不同命令适用于不同场景，本文将详细... 在管理和维护 linux 服务器时，完成系统更新、故障排查或日常维护后，重启系统往往是必不可少的步骤。本文
阅读更多...
Redis分片集群、数据读写规则问题小结

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题？（与哨兵模
阅读更多...
SpringBoot连接Redis集群教程

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》：本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de
阅读更多...
基于Linux的ffmpeg python的关键帧抽取

基于Linux的ffmpeg python的关键帧抽取

《基于Linux的ffmpegpython的关键帧抽取》本文主要介绍了基于Linux的ffmpegpython的关键帧抽取,实现以按帧或时间间隔抽取关键帧,文中通过示例代码介绍的非常详细,对大家的学... 目录1.FFmpeg的环境配置1) 创建一个虚拟环境envjavascript2) ffmpeg-py
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2