ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)

本文主要是介绍ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、ranger权限管理安装

        ranger安装参考:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html

 
二、rang kms 秘钥管理安装

        ranger kms安装参考:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch06s01s01s01.html

 
三、kerberos认证服务安装

kerberos 常用命令:
 

kadmin.local  //以超管身份进入kadminkadmin    //进入kadmin模式,需输入密码kdb5_util create -r JENKIN.COM -s    //创建数据库service krb5kdc start    //启动kdc服务service kadmin start    //启动kadmin服务service kprop start     //启动kprop服务kdb5_util dump /var/kerberos/krb5kdc/slave_data    //生成dump文件kprop -f /var/kerberos/krb5kdc/slave_data master2.com    //将master数据库同步是slavekadmin模式下:addprinc -randkey root/master1@JENKIN.COM   //生成随机key的principaladdprinc admin/admin    //生成指定key的principallistprincs    //查看principalchange_password -pw xxxx admin/admin  //修改admin/admin的密码delete_principal  admin/admin    //删除principalkinit admin/admin    //验证principal是否可用ktadd -k /etc/security/keytabs/hdfs.keytab hdfs/master@HQGF.COM    //kadmin模式下使用//可生成keytabkinit -k -t /var/kerberos/krb5kdc/keytab/root.keytab root/master1@JENKIN.COM     //测试keytab是否可用klist -e -k -t /var/kerberos/krb5kdc/keytab/root.keytab    //查看keytabkdestroy     //销毁当前获取的票

一,先升级再安装server,执行以下命令

yum install krb5-server krb5-libs krb5-workstation

二、修改三个配置文件

 

第一个文件 /etc/krb5.conf

[logging]default = FILE:/var/log/krb5libs.logkdc = FILE:/var/log/krb5kdc.logadmin_server = FILE:/var/log/kadmind.log[libdefaults]default_realm = HQGF.COMdns_lookup_realm = falsedns_lookup_kdc = falseticket_lifetime = 24hrenew_lifetime = 7dforwardable = true[realms]HQGF.COM = {kdc = masteradmin_server = master}[domain_realm].example.com = HQGF.COMexample.com = HQGF.COM

第二个文件 /var/kerberos/krb5kdc/kdc.conf

[kdcdefaults]kdc_ports = 88kdc_tcp_ports = 88[realms]HQGF.COM = {#master_key_type = aes256-ctsacl_file = /var/kerberos/krb5kdc/kadm5.acldict_file = /usr/share/dict/wordsadmin_keytab = /var/kerberos/krb5kdc/kadm5.keytabsupported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal}
!

第三个文件 /var/kerberos/krb5kdc/kadm5.acl (注意后面的 “*” 号不可以跟前面的字符连接在一起必须空格)

*/admin@HQGF.COM     *

三、创建kerberos 应用

/usr/sbin/kdb5_util create -s -r HQGF.COM

四、启动服务

 
  • service krb5kdc start

  •  
  • service kadmin start

六、添加principal

[root@ws1es ~]# kadmin.local 
Authenticating as principal root/admin@HQGF.COM with password.
kadmin.local:  addprinc admin/admin@HQGF.COM
WARNING: no policy specified for admin/admin@HQGF.COM; defaulting to no policy
Enter password for principal "admin/admin@HQGF.COM": 
Re-enter password for principal "admin/admin@HQGF.COM": 
Principal "admin/admin@HQGF.COM" created.
kadmin.local:  listprincs 
K/M@HQGF.COM
admin/admin@HQGF.COM
kadmin/admin@HQGF.COM
kadmin/changepw@HQGF.COM
kadmin/ws1es.wondersoft.cn@HQGF.COM
krbtgt/HQGF.COM@HQGF.COM

七、重启服务

service kadmin restart
11.下载JCE
补充1:
JCE(Java Cryptography Extension)是一组包,它们提供用于加密、密钥生成和协商以及 Message Authentication Code(MAC)算法的框架和实现。
它提供对对称、不对称、块和流密码的加密支持,它还支持安全流和密封的对象。它不对外出口,用它开发完成封装后将无法调用。
补充2:
If you are using Oracle JDK, you must distribute and install the JCE on all hosts in the cluster, including the Ambari Server. 
Be sure to restart Ambari Server after installng the JCE. If you are using OpenJDK, some distributions of the OpenJDKcome with unlimited strength JCE automatically and therefore, installation of JCE is not required.For Oracle JDK 1.8:http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlFor Oracle JDK 1.7:http://www.oracle.com/technetwork/java/javase/downloads/jce-7-download-432124.html将下载的JCE解压并覆盖$JAVA_HOME/jre/lib/security/目录下的文件(所有节点)

 

 

 

 

 

 

 

十七、安装成功后,查看它自动创建的principal和keytab

[root@master krb5kdc]# kadmin.local
Authenticating as principal root/admin@HQGF.COM with password.
kadmin.local:  listprincs
HTTP/master.hqgf.com@HQGF.COM
HTTP/master@HQGF.COM
HTTP/slave222.hqgf.com@HQGF.COM
HTTP/slave223.hqgf.com@HQGF.COM
HTTP/slave227.hqgf.com@HQGF.COM
HTTP/slave228.hqgf.com@HQGF.COM
K/M@HQGF.COM
activity_explorer/master.hqgf.com@HQGF.COM
activity_explorer/slave222.hqgf.com@HQGF.COM
admin/admin@HQGF.COM
ambari-qa-hqgf@HQGF.COM
ambari-server-hqgf@HQGF.COM
amshbase/slave222.hqgf.com@HQGF.COM
amszk/slave222.hqgf.com@HQGF.COM
dn/slave223.hqgf.com@HQGF.COM
dn/slave227.hqgf.com@HQGF.COM
dn/slave228.hqgf.com@HQGF.COM
hbase-hqgf@HQGF.COM
hbase/master.hqgf.com@HQGF.COM
hbase/slave222.hqgf.com@HQGF.COM
hdfs-hqgf@HQGF.COM
hive/master.hqgf.com@HQGF.COM
hive/slave222.hqgf.com@HQGF.COM
hive/slave223.hqgf.com@HQGF.COM
hive/slave227.hqgf.com@HQGF.COM
hive/slave228.hqgf.com@HQGF.COM
jhs/master.hqgf.com@HQGF.COM
jn/slave223.hqgf.com@HQGF.COM
jn/slave227.hqgf.com@HQGF.COM
jn/slave228.hqgf.com@HQGF.COM
kadmin/admin@HQGF.COM
kadmin/changepw@HQGF.COM
kadmin/master@HQGF.COM
kafka/slave223.hqgf.com@HQGF.COM
kafka/slave227.hqgf.com@HQGF.COM
kafka/slave228.hqgf.com@HQGF.COM
kiprop/master@HQGF.COM
krbtgt/HQGF.COM@HQGF.COM
livy/master.hqgf.com@HQGF.COM
livy/slave222.hqgf.com@HQGF.COM
nfs/master.hqgf.com@HQGF.COM
nfs/slave222.hqgf.com@HQGF.COM
nm/slave223.hqgf.com@HQGF.COM
nm/slave227.hqgf.com@HQGF.COM
nm/slave228.hqgf.com@HQGF.COM
nn/master.hqgf.com@HQGF.COM
nn/slave222.hqgf.com@HQGF.COM
oozie/master.hqgf.com@HQGF.COM
rangeradmin/master.hqgf.com@HQGF.COM
rangerkms/master.hqgf.com@HQGF.COM
rangerlookup/master.hqgf.com@HQGF.COM
rangertagsync/master.hqgf.com@HQGF.COM
rangerusersync/master.hqgf.com@HQGF.COM
rm/master.hqgf.com@HQGF.COM
rm/slave222.hqgf.com@HQGF.COM
spark-hqgf@HQGF.COM
yarn/master.hqgf.com@HQGF.COM
zookeeper/slave222.hqgf.com@HQGF.COM
zookeeper/slave223.hqgf.com@HQGF.COM
zookeeper/slave227.hqgf.com@HQGF.COM
zookeeper/slave228.hqgf.com@HQGF.COM

四、ranger +kerberos+ranger kms 透明加密 实例
 

      1.添加系统用户hadooptest

       

    添加用户名:useradd hadooptest
    设置用户密码为hadooptest:passwd hadooptest

 

 

       2.把hadooptest用户添加到kerberos认证中

 
 

先进入admin/admin princ输入密码,执行:
kinit admin/admin
查看是否进入:
klist -e
进入后可以看到如下结果:
Ticket cache: FILE:/tmp/krb5cc_1040
Default principal: admin/admin@HQGF.COMValid starting       Expires              Service principal
2018-05-17T09:51:47  2018-05-18T09:51:47  krbtgt/HQGF.COM@HQGF.COMEtype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96
退出hadooptest用户使用root用户进入kadmin.local配置,执行:
su root
kadmin.local
进入后执行并输入密码hadooptest:addprinc hadooptest
测试是否成功
kinit hadooptest
使用kadmin模式生成keytab执行
kdestroy     
kadmin
ktadd -k /etc/security/keytabs/hadooptest.keytab hadooptest@HQGF.COM测试kerberos 认证是否成功:
kinit hadooptest
hdfs dfs -ls /        是否可以查看hdfs文件目录,如果认证不成功会一直报错的
到此hadooptest 认证已完成

     3.使用ranger 管理权限

 

 

权限分配完成后使用hadooptest上传文件到hdfs(具体读写操作用户自行测试):

 hdfs dfs -put /usr/hqgf/hive_user.txt /tmp/input/

 

 

 4.hdfs 使用ranger kms 创建加密区

 

1.添加系统用户hq
adduser hq
password hq2.使用ranger 添加hq@HQGF.COM
kinit kadmin
kadmin.local
addprinc hq@HQGF.COM3.kadmin模式下生成对应的keytab文件
kinit kadmin
kadmin
ktadd -k /etc/security/keytabs/hq.keytab hq@HQGF.COM4.修改hq@HQGF.COM初始密码
kinit kadmin
kadmin
change_password -pw ambari hq5.使用admin用户登录ranger 后台添加hq操作hdfs文件的权限,注意ranger+kerberos整合下hq用户不管在何种情况下都无法删除添加的文件和文件夹

 
  • 6.使用keyadmin用户登录ranger后台添加key管理(注意用户设置,用户必须拥有对加密区写的操作)

 
  • 7.选择服务添加key

  •  
  • 8.添加key

  • 9.使用keyadmin用户查看hdfs上是否已经生成了key
  • 10.使用key创建加密区hadoop key list -metadata   //查看已添加的keyhdfs dfs -mkdir /zone_encrhdfs crypto -createZone -keyName key -path /zone_encrhdfs crypto -listZones11.测试(效果怎么样自己去试)使用hq 用户在加密区上传下载文件再使用其他用户上传下载文件
    

     

这篇关于ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/298872

相关文章

Linux创建服务使用systemctl管理详解

《Linux创建服务使用systemctl管理详解》文章指导在Linux中创建systemd服务,设置文件权限为所有者读写、其他只读,重新加载配置,启动服务并检查状态,确保服务正常运行,关键步骤包括权... 目录创建服务 /usr/lib/systemd/system/设置服务文件权限:所有者读写js,其他

springboot依靠security实现digest认证的实践

《springboot依靠security实现digest认证的实践》HTTP摘要认证通过加密参数(如nonce、response)验证身份,避免明文传输,但存在密码存储风险,相比基本认证更安全,却因... 目录概述参数Demopom.XML依赖Digest1Application.JavaMyPasswo

Java服务实现开启Debug远程调试

《Java服务实现开启Debug远程调试》文章介绍如何通过JVM参数开启Java服务远程调试,便于在线上排查问题,在IDEA中配置客户端连接,实现无需频繁部署的调试,提升效率... 目录一、背景二、相关图示说明三、具体操作步骤1、服务端配置2、客户端配置总结一、背景日常项目中,通常我们的代码都是部署到远程

利用Python操作Word文档页码的实际应用

《利用Python操作Word文档页码的实际应用》在撰写长篇文档时,经常需要将文档分成多个节,每个节都需要单独的页码,下面:本文主要介绍利用Python操作Word文档页码的相关资料,文中通过代码... 目录需求:文档详情:要求:该程序的功能是:总结需求:一次性处理24个文档的页码。文档详情:1、每个

在Node.js中使用.env文件管理环境变量的全过程

《在Node.js中使用.env文件管理环境变量的全过程》Node.js应用程序通常依赖于环境变量来管理敏感信息或配置设置,.env文件已经成为一种流行的本地管理这些变量的方法,本文将探讨.env文件... 目录引言为什么使php用 .env 文件 ?如何在 Node.js 中使用 .env 文件最佳实践引

python依赖管理工具UV的安装和使用教程

《python依赖管理工具UV的安装和使用教程》UV是一个用Rust编写的Python包安装和依赖管理工具,比传统工具(如pip)有着更快、更高效的体验,:本文主要介绍python依赖管理工具UV... 目录前言一、命令安装uv二、手动编译安装2.1在archlinux安装uv的依赖工具2.2从github

Java中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例解析

《Java中的分布式系统开发基于Zookeeper与Dubbo的应用案例解析》本文将通过实际案例,带你走进基于Zookeeper与Dubbo的分布式系统开发,本文通过实例代码给大家介绍的非常详... 目录Java 中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例一、分布式系统中的挑战二

Java 缓存框架 Caffeine 应用场景解析

《Java缓存框架Caffeine应用场景解析》文章介绍Caffeine作为高性能Java本地缓存框架,基于W-TinyLFU算法,支持异步加载、灵活过期策略、内存安全机制及统计监控,重点解析其... 目录一、Caffeine 简介1. 框架概述1.1 Caffeine的核心优势二、Caffeine 基础2

使用Node.js和PostgreSQL构建数据库应用

《使用Node.js和PostgreSQL构建数据库应用》PostgreSQL是一个功能强大的开源关系型数据库,而Node.js是构建高效网络应用的理想平台,结合这两个技术,我们可以创建出色的数据驱动... 目录初始化项目与安装依赖建立数据库连接执行CRUD操作查询数据插入数据更新数据删除数据完整示例与最佳

JDK8(Java Development kit)的安装与配置全过程

《JDK8(JavaDevelopmentkit)的安装与配置全过程》文章简要介绍了Java的核心特点(如跨平台、JVM机制)及JDK/JRE的区别,重点讲解了如何通过配置环境变量(PATH和JA... 目录Java特点JDKJREJDK的下载,安装配置环境变量总结Java特点说起 Java,大家肯定都