本文主要是介绍一文详解kafka开启kerberos认证的完整步骤,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
《一文详解kafka开启kerberos认证的完整步骤》这篇文章主要为大家详细介绍了kafka开启kerberos认证的完整步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下...
一、kerberos安装部署
kerberos的基本原理不做过多介绍了,可自行查阅;本文主要介绍kerberos的安装及使用;使用到的软件版本:系统:Red Hat Enterprise linux release 8.6 (Ootpa) 、krb5-server:1.18.2
#使用到的软件版本 [root@kafka01 data]# cat /etc/RedHat-release Red Hat Enterprise Linux release 8.6 (Ootpa) #通过yum安装 [root@kafka01 ~]# yum install krb5-server #查看本版号 [root@kafka01 ~]# rpm -qi krb5-server Name : krb5-server Version : 1.18.2 Release : 30.el8_10 Architecture: x86_64 Install Date: Fri 07 Mar 2025 11:11:35 AM CST Group : System Environment/Daemons Size : 1481553 License : MIT Signature : RSA/SHA256, Tue 22 Oct 2024 11:00:23 PM CST, Key ID 199e2f91fd431d51
二、准备机器
序号 | IP | 主机 | 部署服务 |
---|---|---|---|
1 | 192.168.10.100 | kafka01 | Kerberos Server、Kerberos Client |
2 | 192.168.10.101 | kafka02 | Kerberos Client |
3 | 192.168.10.102 | kafka03 | Kerberos Client |
绑定host文件
[root@kafka01 ~]# cat /etc/hosts 192.168.10.100 kafka01 192.168.10.101 kafka02 192.168.10.102 kafka03
Kerberos Client 根据需要进行安装,安装后可以使用 kadmin 命令;对应在 Kerberos Server 上使用 kadmin.local 命令。
三、Kerberos Server 安装
[root@kafka01 ~]# yum install krb5-server
1、配置krb5.conf
#编辑配置文件 [root@kafka01 ~]# vim /etc/krb5.conf # To opt out of the system crypto-policies configuration of krb5, remove the # symlink at /etc/krb5.conf.d/crypto-policies which will not be recreated. includedir /etc/krb5.conf.d/ [logging] default = FILE:/var/log/krb5libs.log kdc = FILE:/var/log/krb5kdc.log admin_server = FILE:/var/log/kadmind.log [libdefaults] dns_lookup_realm = false ticket_lifetime = 24h renew_lifetime = 7d forwardable = true rdns = false pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt # spake_preauth_groups = edwards25519 default_realm = NSSPKAFKA.COM #域 default_ccache_name = KEYRING:persistent:%{uid} [realms] NSSPKAFKA.COM = { kdc = kafka01 #hostname admin_server = kafka01 #hostname } [domain_realm] #.kafka01 = NSSPKAFKA.COM #kafka01 = NSSPKAFKA.COM
以上配置相关参数
[logging]:日志的位置
[libdefaults]:每种连接的默认配置
dns_lookup_realm:是否通过 dns 查找需使用的 releam
ticket_lifetime:凭证的有效时限,一般为 24 小时
renew_lifetime:凭证最长可以被延期的时限,一般为一周。当凭证过期之后,对安全认证的服务后续访问就会失败
forwardable:ticket 是否可以被转发(如果用户已经有了一个TGT,当他登入到另一个远程系统,KDC会为他重新创建一个TGT,而不需要让用户重新进行身份认证)
rdns:如果为 true,则除根据 hostname 正向查找外,同时反向查找对应的 principal。如果 dns_canonicalize_hostname 设置为 false,则此标志不起作用。默认值为 true。
pkinit_anchors:受信任锚(根)证书的位置;如果用户在命令行上指定X509_anchors,则不使用该配置。
default_realm:默认的 realm,必须跟要配置的 realm 名称一致
default_ccache_name:指定默认凭据缓存的名称。默认值为 DEFCCNAME
[realms]:列举使用的 realm
kdc:kdc 运行的机器
admin_server:kdc 数据库管理服务运行的机器
[domain_realm]:配置 domain name 或 hostname 对应的 releam
详细说明可参考官网文档:http://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/krb5_conf.html。
2、配置kdc.conf (/var/kerberos/krb5kdc/kdc.conf)
[root@kafka01 data]# vim /var/kerberos/krb5kdc/kdc.conf [kdcdefaults] kdc_ports = 88 kdc_tcp_ports = 88 spake_preauth_kdc_challenge = edwards25519 [realms] NSSPKAFKA.COM = { #master_key_type = aes256-cts acl_file = /var/kerberos/krb5kdc/kadm5.acl dict_file =python /usr/share/dict/words admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab supported_enctypes = aes256-cts:normal aes128-cts:pythonnormal arcfour-hMAC:normal camellia256-cts:normal camellia128-cts:normal }
以上配置相关参数详解
相关参数说明:
[kdcdefaults]:KDC 默认配置
kdc_ports:UDP 端口号
kdc_tcp_ports:TCP 端口号
[realms]:realm 数据库配置
master_key_type:主密钥的密钥类型;默认值为 aes256-cts-hmac-sha1-96。
acl_file:用于指定哪些用户可以访问 kdc 数据库的控制文件;如果不需要现在用户访问,该值可以设为空
dict_file:字典文件位置,该文件中的单词不能被用于密码;如果文件为空,或者没有为用户分配策略,则不会执行密码字典检查。
admin_keytab:KDC 进行校验的 keytab。
supported_enctypes:支持的加密方式,默认为 aes256-cts-hmac-sha1-96:normal aes128-cts-hmac-sha1-96:normal。
详细说明可参考官网文档:https://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/kdc_conf.html。
3、创建数据库
[root@kafka01 ~]# kdb5_util create -s -r DATACENTER.COM
四、启动服务
1、启动服务
#开启自启动 [root@kafka01 ~]# systemctl enable krb5kdc.service Created symlink /etc/systemd/system/multi-user.target.wants/krb5kdc.service → /usr/lib/systemd/system/krb5kdc.service. #开启Kerberos服务 [root@kafka01 ~]# systemctl start krb5kdc.service #开启kadmin服务 [root@kafka01 ~]# systemctl enable kadmin.service Created symlink /etc/systemd/system/multi-user.target.wants/kadmin.service → /usr/lib/systemd/system/kadmin.service. [root@kafka01 ~]# systemctl start kadmin.service
2、创建账号
Kerberos 服务机器上可以使用 kadmin.local 来执行各种管理的操作。进入 kadmin.local:
常用操作:
操作 | 描述 | 例子 |
---|---|---|
add_principal, addprinc, ank | 增加 principal | add_principal -rnadkey test@ABC.COM |
delete_principal, delprinc | 删除 principal | delete_principal test@ABC.COM |
modify_principal, modprinc | 修改 principal | modify_principal test@ABC.COM |
rename_principal, renprinc | 重命名 principal | rename_principal test@ABC.COM test2@ABC.COM |
get_principal, getprinc | 获取 principal | get_principal test@ABC.COM |
list_principals, listprincs, get_principals, getprincs | 显示所有 principal | listprincs |
ktadd, xst | 导出条目到python keytab | xst -k /root/tjavascriptest.keytab test@ABC.COM |
#执行命令 [root@kafka01 ~]# kadmin.local kadmin.local: add_principal admin/admin@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: add_principal kafka-client@NSSPKAFKA.COM #导出账号密钥 kadmin.local: xst -norandkey -k /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
五、Kerberos Client 安装
在其他集群机器上安装
[root@kafka01 ~]#yum install krb5-workstation
1、配置krb5.conf
从 192.168.10.100 上拷贝 /etc/krb5.conf 并覆盖本地的 /etc/krb5.conf。
#客户端可以是用kadmin命令 [root@kafka01 ~]# kadmin kinit(在客户端认证用户) [root@kafka02 ~]# kinit admin/admin@DATACENTER.COM #输入密码认证完成 #查看当前的认证用户 [root@kafka01 ~]# klist #kdestroy(删除当前的认证缓存) [root@kafka01 ~]# kdestroy
六、kafka集群开启kerberos认证
1、机器准备
序号 | IP | 主机 | 部署服务 |
---|---|---|---|
1 | 192.168.10.100 | kafka01 | zookeeper、kafka |
2 | 192.168.10.101 | kafka02 | zookeeper、kafka |
3 | 192.168.10.102 | kafka03 | zookeeper、kafka |
绑定host文件
[root@kafka01 ~]# cat /etc/hosts 192.168.10.100 kafka01 192.168.10.101 kafka02 192.168.10.102 kafka03
2、创建keytab文件
在安装 Kerberos 的机器上进入 kadmin(Kerberos 服务端上使用 kadmin.local,安装了 Kerberos Client 的机器上可以使用 kadmin),然后执行如下命令分别创建服务端和客户端的 keytab:
#执行命令 [root@kafka01 ~]# kadmin.local kadmin.local: add_principal admin/admin@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka02@NSSPKApythonFKA.COM kadmin.local: add_principal kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: add_principal kafka-client@NSSPKAFKA.COM #导出账号密钥 kadmin.local: xst -norandkey -k /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
3、Kerberos相关配置
拷贝 krb5.conf 及 keytab 文件到所有安装 Kafka 的机器,这里把文件都放到 Kafka 的 config/kerveros 目录下(kerberos 目录需新建)。
[root@kafka01 kerberos]# pwd /opt/kafka_2.12-3.9.0/config/kerberos [root@kafka01 kerberos]# ll total 24 -rw-r--r-- 1 root root 95 Mar 10 15:53 client.properties -rw-r--r-- 1 root root 246 Mar 10 16:11 kafka-client-jaas.conf -rw------- 1 root root 379 Mar 10 16:03 kafka-client.keytab -rw-r--r-- 1 root root 256 Mar 10 16:10 kafka-server-jaas.conf -rw------- 1 root root 424 Mar 10 16:01 kafka-server.keytab -rw-r--r-- 1 root root 786 Mar 10 16:10 krb5.conf
4、Kafka服务端配置(server.properties)
#执行命令 [root@kafka01 config]# vim server.properties #配置文件开启认证 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=GSSAPI sasl.enabled.mechanisms=GSSAPI sasl.kerberos.service.name=kafka-server
5、新建 kafka-server-jaas.conf 文件
该文件也放到 Kafka 的 config/kerveros 目录下
[root@kafka01 kerberos]# cat kafka-server-jaas.conf KafkaServer { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server.keytab" #这是导出的账号keytab文件 不同的账号不同的文件 storeKey=true useTicketCache=false principal="kafka-server/kafka01@DATACENTER.COM"; #不同的机器 不同的账号, };
6、修改 bin/kafka-server-start.sh 脚本
倒数第二行增加如下配置:
#进入启动脚本 [root@kafka01 bin]# vim kafka-server-start.sh #-dzookeeper.sasl.client=false zk没有开启认证就设置false export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -DJava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server-jaas.conf"
客户端配置
7、新建 kafka-client-jaas.conf 文件
该文件也放到 Kafka 的 config/kerveros 目录下。
[root@kafka01 kerberos]# vim kafka-client-jaas.conf KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client.keytab" #客户端密钥 storeKey=true useTicketCache=true principal="kafka-client@DATACENTER.COM"; #客户端账号 这里的';' 不能省略 };
该配置主要为了使用 bin/kafka-topics.sh、bin/kafka-console-consumer.sh、kafka-console-producer.sh 等命令
#三个文件倒数第二行 新增以下内容 export KAFKA_OPTS="-Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client-jaas.conf"
七、启动测试
#查看topic [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --list --bootstrap-server kafka:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #创建topic & 测试链接 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #生产者 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-producer.sh --topic test --bootstrap-server nsspmsg.com:9092 --producer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #消费者 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server nsspmsg.com:9092 --consumer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
以上就是一文详解kafka开启kerberos认证的完整步骤的详细内容,更多关于kafka开启kerberos认证的资料请关注China编程(www.chinasem.cn)其它相关文章!
这篇关于一文详解kafka开启kerberos认证的完整步骤的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!