一文详解kafka开启kerberos认证的完整步骤

2025-03-11 17:50
文章标签 步骤 详解 认证 开启 一文 kafka 完整 kerberos

本文主要是介绍一文详解kafka开启kerberos认证的完整步骤，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《一文详解kafka开启kerberos认证的完整步骤》这篇文章主要为大家详细介绍了kafka开启kerberos认证的完整步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下...

一、kerberos安装部署

kerberos的基本原理不做过多介绍了，可自行查阅；本文主要介绍kerberos的安装及使用;使用到的软件版本：系统：Red Hat Enterprise linux release 8.6 (Ootpa) 、krb5-server：1.18.2

#使用到的软件版本
[root@kafka01 data]# cat /etc/RedHat-release
Red Hat Enterprise Linux release 8.6 (Ootpa)
#通过yum安装
[root@kafka01 ~]# yum install krb5-server
#查看本版号
[root@kafka01 ~]# rpm -qi krb5-server 
Name        : krb5-server
Version     : 1.18.2
Release     : 30.el8_10
Architecture: x86_64
Install Date: Fri 07 Mar 2025 11:11:35 AM CST
Group       : System Environment/Daemons
Size        : 1481553
License     : MIT
Signature   : RSA/SHA256, Tue 22 Oct 2024 11:00:23 PM CST, Key ID 199e2f91fd431d51

二、准备机器

序号IP主机部署服务
1192.168.10.100kafka01Kerberos Server、Kerberos Client
2192.168.10.101kafka02Kerberos Client
3192.168.10.102kafka03Kerberos Client

绑定host文件

[root@kafka01 ~]# cat /etc/hosts
192.168.10.100    kafka01
192.168.10.101    kafka02
192.168.10.102    kafka03

Kerberos Client 根据需要进行安装，安装后可以使用 kadmin 命令；对应在 Kerberos Server 上使用 kadmin.local 命令。

三、Kerberos Server 安装

[root@kafka01 ~]# yum install krb5-server

1、配置krb5.conf

#编辑配置文件
[root@kafka01 ~]# vim /etc/krb5.conf
# To opt out of the system crypto-policies configuration of krb5, remove the
# symlink at /etc/krb5.conf.d/crypto-policies which will not be recreated.
includedir /etc/krb5.conf.d/

[logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log

[libdefaults]
    dns_lookup_realm = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
    rdns = false
    pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
#    spake_preauth_groups = edwards25519
    default_realm = NSSPKAFKA.COM  #域
    default_ccache_name = KEYRING:persistent:%{uid}

[realms]
 NSSPKAFKA.COM = {
     kdc =  kafka01   #hostname
     admin_server = kafka01  #hostname
 }

[domain_realm]
 #.kafka01 = NSSPKAFKA.COM 
 #kafka01 = NSSPKAFKA.COM

以上配置相关参数

[logging]：日志的位置

[libdefaults]：每种连接的默认配置

dns_lookup_realm：是否通过 dns 查找需使用的 releam

ticket_lifetime：凭证的有效时限，一般为 24 小时

renew_lifetime：凭证最长可以被延期的时限，一般为一周。当凭证过期之后，对安全认证的服务后续访问就会失败

forwardable：ticket 是否可以被转发（如果用户已经有了一个TGT，当他登入到另一个远程系统，KDC会为他重新创建一个TGT，而不需要让用户重新进行身份认证）

rdns：如果为 true，则除根据 hostname 正向查找外，同时反向查找对应的 principal。如果 dns_canonicalize_hostname 设置为 false，则此标志不起作用。默认值为 true。

pkinit_anchors：受信任锚（根）证书的位置；如果用户在命令行上指定X509_anchors，则不使用该配置。

default_realm：默认的 realm，必须跟要配置的 realm 名称一致

default_ccache_name：指定默认凭据缓存的名称。默认值为 DEFCCNAME

[realms]：列举使用的 realm

kdc：kdc 运行的机器

admin_server：kdc 数据库管理服务运行的机器

[domain_realm]：配置 domain name 或 hostname 对应的 releam

详细说明可参考官网文档：http://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/krb5_conf.html。

2、配置kdc.conf (/var/kerberos/krb5kdc/kdc.conf)

[root@kafka01 data]# vim /var/kerberos/krb5kdc/kdc.conf 
[kdcdefaults]
    kdc_ports = 88
    kdc_tcp_ports = 88
    spake_preauth_kdc_challenge = edwards25519

[realms]
NSSPKAFKA.COM = {
     #master_key_type = aes256-cts
     acl_file = /var/kerberos/krb5kdc/kadm5.acl
     dict_file =python /usr/share/dict/words
     admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
     supported_enctypes = aes256-cts:normal aes128-cts:pythonnormal arcfour-hMAC:normal camellia256-cts:normal camellia128-cts:normal
}

以上配置相关参数详解

相关参数说明：

[kdcdefaults]：KDC 默认配置

kdc_ports：UDP 端口号

kdc_tcp_ports：TCP 端口号

[realms]：realm 数据库配置

master_key_type：主密钥的密钥类型；默认值为 aes256-cts-hmac-sha1-96。

acl_file：用于指定哪些用户可以访问 kdc 数据库的控制文件；如果不需要现在用户访问，该值可以设为空

dict_file：字典文件位置，该文件中的单词不能被用于密码；如果文件为空，或者没有为用户分配策略，则不会执行密码字典检查。

admin_keytab：KDC 进行校验的 keytab。

supported_enctypes：支持的加密方式，默认为 aes256-cts-hmac-sha1-96:normal aes128-cts-hmac-sha1-96:normal。

详细说明可参考官网文档：https://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/kdc_conf.html。

3、创建数据库

[root@kafka01 ~]# kdb5_util create -s -r DATACENTER.COM

四、启动服务

1、启动服务

#开启自启动
[root@kafka01 ~]# systemctl enable krb5kdc.service 
Created symlink /etc/systemd/system/multi-user.target.wants/krb5kdc.service → /usr/lib/systemd/system/krb5kdc.service.
#开启Kerberos服务
[root@kafka01 ~]# systemctl start krb5kdc.service 

#开启kadmin服务
[root@kafka01 ~]# systemctl enable kadmin.service 
Created symlink /etc/systemd/system/multi-user.target.wants/kadmin.service → /usr/lib/systemd/system/kadmin.service.
[root@kafka01 ~]# systemctl start kadmin.service

2、创建账号

Kerberos 服务机器上可以使用 kadmin.local 来执行各种管理的操作。进入 kadmin.local：

常用操作：

操作描述例子
add_principal, addprinc, ank增加 principaladd_principal -rnadkey test@ABC.COM
delete_principal, delprinc删除 principaldelete_principal test@ABC.COM
modify_principal, modprinc修改 principalmodify_principal test@ABC.COM
rename_principal, renprinc重命名 principalrename_principal test@ABC.COM test2@ABC.COM
get_principal, getprinc获取 principalget_principal test@ABC.COM
list_principals, listprincs, get_principals, getprincs显示所有 principallistprincs
ktadd, xst导出条目到python keytabxst -k /root/tjavascriptest.keytab test@ABC.COM
#执行命令
[root@kafka01 ~]# kadmin.local
kadmin.local:  add_principal admin/admin@NSSPKAFKA.COM
kadmin.local:  add_principal kafka-server/kafka01@NSSPKAFKA.COM				
kadmin.local:  add_principal kafka-server/kafka02@NSSPKAFKA.COM				
kadmin.local:  add_principal kafka-server/kafka03@NSSPKAFKA.COM				
kadmin.local:  add_principal kafka-client@NSSPKAFKA.COM		


#导出账号密钥
kadmin.local: xst -norandkey -k  /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM
kadmin.local: xst -norandkey -k  /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM
kadmin.local: xst -norandkey -k  /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM
kadmin.local: xst -norandkey -k  /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM

五、Kerberos Client 安装

在其他集群机器上安装

[root@kafka01 ~]#yum install krb5-workstation

1、配置krb5.conf

从 192.168.10.100 上拷贝 /etc/krb5.conf 并覆盖本地的 /etc/krb5.conf。

#客户端可以是用kadmin命令
[root@kafka01 ~]# kadmin 

kinit(在客户端认证用户)
[root@kafka02 ~]# kinit admin/admin@DATACENTER.COM   #输入密码认证完成

#查看当前的认证用户
[root@kafka01 ~]# klist

#kdestroy(删除当前的认证缓存)
[root@kafka01 ~]# kdestroy

六、kafka集群开启kerberos认证

1、机器准备

序号IP主机部署服务
1192.168.10.100kafka01zookeeper、kafka
2192.168.10.101kafka02zookeeper、kafka
3192.168.10.102kafka03zookeeper、kafka

绑定host文件

[root@kafka01 ~]# cat /etc/hosts
192.168.10.100    kafka01
192.168.10.101    kafka02
192.168.10.102    kafka03

2、创建keytab文件

在安装 Kerberos 的机器上进入 kadmin（Kerberos 服务端上使用 kadmin.local，安装了 Kerberos Client 的机器上可以使用 kadmin），然后执行如下命令分别创建服务端和客户端的 keytab：

#执行命令
[root@kafka01 ~]# kadmin.local
kadmin.local:  add_principal admin/admin@NSSPKAFKA.COM
kadmin.local:  add_principal kafka-server/kafka01@NSSPKAFKA.COM				
kadmin.local:  add_principal kafka-server/kafka02@NSSPKApythonFKA.COM				
kadmin.local:  add_principal kafka-server/kafka03@NSSPKAFKA.COM				
kadmin.local:  add_principal kafka-client@NSSPKAFKA.COM		

#导出账号密钥
kadmin.local: xst -norandkey -k  /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM
kadmin.local: xst -norandkey -k  /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM
kadmin.local: xst -norandkey -k  /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM
kadmin.local: xst -norandkey -k  /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM

3、Kerberos相关配置

拷贝 krb5.conf 及 keytab 文件到所有安装 Kafka 的机器，这里把文件都放到 Kafka 的 config/kerveros 目录下(kerberos 目录需新建)。

[root@kafka01 kerberos]# pwd
/opt/kafka_2.12-3.9.0/config/kerberos
[root@kafka01 kerberos]# ll
total 24
-rw-r--r-- 1 root root  95 Mar 10 15:53 client.properties
-rw-r--r-- 1 root root 246 Mar 10 16:11 kafka-client-jaas.conf
-rw------- 1 root root 379 Mar 10 16:03 kafka-client.keytab
-rw-r--r-- 1 root root 256 Mar 10 16:10 kafka-server-jaas.conf
-rw------- 1 root root 424 Mar 10 16:01 kafka-server.keytab
-rw-r--r-- 1 root root 786 Mar 10 16:10 krb5.conf

4、Kafka服务端配置（server.properties）

#执行命令
[root@kafka01 config]# vim server.properties
#配置文件开启认证
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka-server

5、新建 kafka-server-jaas.conf 文件

该文件也放到 Kafka 的 config/kerveros 目录下

[root@kafka01 kerberos]# cat kafka-server-jaas.conf 
KafkaServer {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server.keytab" #这是导出的账号keytab文件 不同的账号不同的文件
   storeKey=true
   useTicketCache=false
   principal="kafka-server/kafka01@DATACENTER.COM";      #不同的机器 不同的账号，
};

6、修改 bin/kafka-server-start.sh 脚本

倒数第二行增加如下配置：

#进入启动脚本
[root@kafka01 bin]# vim kafka-server-start.sh 

#-dzookeeper.sasl.client=false zk没有开启认证就设置false
export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -DJava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server-jaas.conf"

客户端配置

7、新建 kafka-client-jaas.conf 文件

该文件也放到 Kafka 的 config/kerveros 目录下。

[root@kafka01 kerberos]# vim kafka-client-jaas.conf
KafkaClient {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client.keytab" #客户端密钥
   storeKey=true
   useTicketCache=true
   principal="kafka-client@DATACENTER.COM"; #客户端账号 这里的';' 不能省略
};

该配置主要为了使用 bin/kafka-topics.sh、bin/kafka-console-consumer.sh、kafka-console-producer.sh 等命令

#三个文件倒数第二行 新增以下内容
export KAFKA_OPTS="-Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client-jaas.conf"

七、启动测试

#查看topic
[root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --list --bootstrap-server kafka:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties

#创建topic & 测试链接
[root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
#生产者
[root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-producer.sh --topic test --bootstrap-server nsspmsg.com:9092 --producer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties

#消费者
[root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server nsspmsg.com:9092 --consumer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties

以上就是一文详解kafka开启kerberos认证的完整步骤的详细内容，更多关于kafka开启kerberos认证的资料请关注China编程(www.chinasem.cn)其它相关文章！

这篇关于一文详解kafka开启kerberos认证的完整步骤的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1153705。

相关文章

Python Flask实现定时任务的不同方法详解

Python Flask实现定时任务的不同方法详解

《PythonFlask实现定时任务的不同方法详解》在Flask中实现定时任务,最常用的方法是使用APScheduler库,本文将提供一个完整的解决方案,有需要的小伙伴可以跟随小编一起学习一下... 目录完js整实现方案代码解释1. 依赖安装2. 核心组件3. 任务类型4. 任务管理5. 持久化存储生产环境
阅读更多...
详解Java中三种状态机实现方式来优雅消灭 if-else 嵌套

详解Java中三种状态机实现方式来优雅消灭 if-else 嵌套

《详解Java中三种状态机实现方式来优雅消灭if-else嵌套》这篇文章主要为大家详细介绍了Java中三种状态机实现方式从而优雅消灭if-else嵌套,文中的示例代码讲解详细,感兴趣的小伙伴可以跟... 目录1. 前言2. 复现传统if-else实现的业务场景问题3. 用状态机模式改造3.1 定义状态接口3
阅读更多...
Java集合中的链表与结构详解

Java集合中的链表与结构详解

《Java集合中的链表与结构详解》链表是一种物理存储结构上非连续的存储结构,数据元素的逻辑顺序的通过链表中的引用链接次序实现,文章对比ArrayList与LinkedList的结构差异,详细讲解了链表... 目录一、链表概念与结构二、当向单链表的实现2.1 准备工作2.2 初始化链表2.3 打印数据、链表长
阅读更多...
Linux查询服务器 IP 地址的命令详解

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令：简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令：新一代网络配置全
阅读更多...
Java异常捕获及处理方式详解

Java异常捕获及处理方式详解

《Java异常捕获及处理方式详解》异常处理是Java编程中非常重要的一部分,它允许我们在程序运行时捕获并处理错误或不预期的行为,而不是让程序直接崩溃,本文将介绍Java中如何捕获异常,以及常用的异常处... 目录前言什么是异常？Java异常的基本语法解释：1. 捕获异常并处理示例1：捕获并处理单个异常解释：
阅读更多...
Java实现TXT文件导入功能的详细步骤

Java实现TXT文件导入功能的详细步骤

《Java实现TXT文件导入功能的详细步骤》在实际开发中,很多应用场景需要将用户上传的TXT文件进行解析,并将文件中的数据导入到数据库或其他存储系统中,本文将演示如何用Java实现一个基本的TXT文件... 目录前言1. 项目需求分析2. 示例文件格式3. 实现步骤3.1. 准备数据库（假设使用 mysql
阅读更多...
一文带你迅速搞懂路由器/交换机/光猫三者概念区别

一文带你迅速搞懂路由器/交换机/光猫三者概念区别

《一文带你迅速搞懂路由器/交换机/光猫三者概念区别》讨论网络设备时，常提及路由器、交换机及光猫等词汇，日常生活、工作中，这些设备至关重要，居家上网、企业内部沟通乃至互联网冲浪皆无法脱离其影响力，本文将... 当谈论网络设备时，我们常常会听到路由器、交换机和光猫这几个名词。它们是构建现代网络基础设施的关键组成
阅读更多...
python连接sqlite3简单用法完整例子

python连接sqlite3简单用法完整例子

《python连接sqlite3简单用法完整例子》SQLite3是一个内置的Python模块,可以通过Python的标准库轻松地使用,无需进行额外安装和配置,：本文主要介绍python连接sqli... 目录1. 连接到数据库2. 创建游标对象3. 创建表4. 插入数据5. 查询数据6. 更新数据7. 删除
阅读更多...
从基础到高阶详解Python多态实战应用指南

从基础到高阶详解Python多态实战应用指南

《从基础到高阶详解Python多态实战应用指南》这篇文章主要从基础到高阶为大家详细介绍Python中多态的相关应用与技巧,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、多态的本质：python的“鸭子类型”哲学二、多态的三大实战场景场景1：数据处理管道——统一处理不同数据格式
阅读更多...
Python学习笔记之getattr和hasattr用法示例详解

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2