Cloudera Manager 配置 LDAP - 通过搜索绑定实现用户和组的映射

2024-05-28 03:08
文章标签 配置 实现 搜索 绑定 用户 manager ldap 映射 cloudera

本文主要是介绍Cloudera Manager 配置 LDAP - 通过搜索绑定实现用户和组的映射，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

直接绑定和搜索绑定

因为使用直接绑定方式，会导致集群无法被多个团队的多个角色混用。举个例子，我们有这样的场景：

  • 用户 a1 属于组 A，组 A 对应 Sentry 中的 dev 角色；
  • 用户 a2 属于组 A，组 A 对应 Sentry 中的 dev 角色；
  • 用户 b1 属于组 B，组 B 对应 Sentry 中的 ops 角色；
  • 用户 b2 属于组 B，组 B 对应 Sentry 中的 ops 角色；

在直接绑定方式下，我们是达不到需求的，因为我们的 LDAP 目前没有用户和组的映射概念。为什么这么说？我们现在的 LDAP 节点关系在 ou 下，只有一层，直接就是用户uid了。假设我们定义了用户 a1 的 dn 为 uid=a1,ou=people,dc=domain,dc=com ，同时我们也用一样的方式定义了 a2, b1, b2 三个用户。所以我们需要引入搜索绑定，多定义一层组的概念，才可以完成需求。也就是说 dn 应该长这样：uid=a1,cn=A,ou=groups,dc=domain,dc=com，这里的 cn 就是组的概念。我们可以通过搜索绑定结合 LDAP 的 posix group / user ，实现用户和组的映射，达到细粒度的权限控制。目前笔者只做到了一级分组，也就是说当公司壮大了之后，层级繁多情况下，是需要多层级的分组的。不过就我在阿里的 HBASE 运维经验来看，不同 BU 也可以做集群物理隔离。尤其是在 docker 日益火热的当下，这也不是什么问题，甚至虚拟化也可以满足我们的需求。再者，公司面对的私/专有云输出用户，一层权限细分在近1年场景下是绝对足够的。

关于配置，很简单，但是当时也是研究一些时间(被虐了3天左右)，因为对 LDAP 不熟悉么，呵呵。在 Cloudera Mnager 中修改 HUE 配置，使用搜索绑定进行认证：

使用搜索绑定身份验证(Use Search Bind Authentication)：search_bind_authentication = true
LDAP 搜索基础(LDAP Search Base)：base_dn = dc=example,dc=com
LDAP 绑定用户可分辨名称(LDAP Bind User Distinguished Name)：bind_dn = uid=ldapadmin,ou=people,dc=example,dc=com
LDAP 绑定密码(LDAP Bind Password)：bind_password = ${BIND_PASSWORD} 
LDAP 用户名属性(LDAP Username Attribute)：user_name_attr = uid 
上面属性与直接绑定相同，下面属性为搜索绑定新配置属性
LDAP 用户筛选（LDAP User Filter）：user_filter = (objectClass=posixAccount)
LDAP 组筛选（LDAP Group Filter：group_filter = (|(objectClass=organizationalUnit)(objectClass=posixGroup)) 
LDAP 组名称属性（LDAP Group Name Attribute）：group_name_attr = cn 
LDAP 组成员身份属性（LDAP Group Membership Attribute）：group_member_attr = memberUID # 非常重要，否则无法识别映射
  • 我们开启了搜索绑定认证方式，搜索的基础过滤字符串为 dc=domain,dc=com ，表示我们只搜索 LDAP 中 dc=com 节点下的 dc=example 节点下的 dn (Distinguishied Name)。
  • 在搜索的时候，我们使用的 dn 为 uid=ldapadmin,ou=people,dc=example,dc=com，这相当于是我们的超级管理员账户
  • LDAP 预先定义了多种关于账户的 objectClass，我们使用 posixAccount 作为后续的账户对象， 因为它具备和组映射相关的属性 gidNumber。
  • 同时，我们使用 posixGroup 或 organizationalUnit 作为对组过滤的条件，前者具备核心属性 gidNumber 可以和 posixAccount 进行映射， 后者是因为我们之前在初始化的时候已经创建了一部分以 organizationalUnit 为基础的组(可以认为是公司的 BU 概念)，是为了做到向后兼容。 posixGroup 还有一个非常关键的属性 memberUid ，它可以定义该组下面的成员列表，方便我们后续在 HUE 中按照组维度批量导入其下所有用户账户。

新建用户授权步骤

接下来我们谈谈如何正确的把 Unix / HDFS 用户导入到 LDAP 再导入到 HUE中，打通四者账户体系。

Unix / HDFS / LDAP / HUE / Sentry 账户体系

对于对接了 LDAP 作为默认账户管理的 HUE 而言，首先要有概念，整个链路上包含5个账户体系：

  • Unix 账户，大数据服务端集群必须存在对应的用户/组，是基础账户数据，目前HDFS账户对它是强依赖和一一对应；
  • HDFS 账户，因为我们默认配置的是 ShellBasedUnixAccount，所以和 Unix 账户是强映射的，大家可以仔细想下自己平时在终端怎么访问 HDFS 的；
  • LDAP 账户，大数据 LDAP 服务，数据来自Unix账户；
  • HUE账户，大数据前端分析平台账户，数据来自 LDAP；
  • Sentry账户，其实 Sentry 使用的还是 HDFS 账户，但是从权限角度讲 Sentry 的 Role 对应了 HDFS 的组，这个概念映射要特别留意；

所以理论上的操作序列为：

  1. 在每一台部署有大数据服务的机器上，初始化 Unix 账户，当然 Cloudera 已经在部署的时候帮我们初始化了一系列账户，比如 hdfs, yarn, hive, hbase 等；
  2. 把 Unix 账户信息同步至 OpenLDAP；
  3. 把 OpenLDAP 的账户信息同步至 HUE；
  4. 在 HUE 中进行 Sentry 的权限分配；

下面详细说下如何操作， 我们需要的权限包括 Unix 服务器的 root 权限，用于创建用户和组。 LDAP 服务器的超级管理员权限，用于数据导入。 HUE 的超级管理员权限， 用于用户和组信息同步，和 Sentry 权限分配。

一、新建 Unix 组 / 账户

以用户 songxitang 为例，他属于 bigdata_ops 组， 在 bigdata 这个部门， 公司是 bocloud.com。我们在所有部署了 Cloudera Agent 的服务器上创建用户 songxitang, 从属组为 bigdata_ops， 假设 uid=1005，gid=1006。可以通过终端命令 id songxitang 查看 uid 和 gid。创建用户，并且使之从属于 bigdata_ops：

//添加用户songxitang默认组为songxitang
[root@master ~]# useradd songxitang
[root@master ~]# pssh -i -h slaves useradd songxitang
[1] 18:23:37 [SUCCESS] slave6
[2] 18:23:37 [SUCCESS] slave3
[3] 18:23:37 [SUCCESS] slave5
[4] 18:23:37 [SUCCESS] slave2
[5] 18:23:37 [SUCCESS] slave1
[6] 18:23:37 [SUCCESS] slave4
//添加组 bigdata_ops
[root@master ~]# groupadd bigdata_ops
[root@master ~]# pssh -i -h slaves groupadd bigdata_ops
[1] 18:24:37 [SUCCESS] slave5
[2] 18:24:37 [SUCCESS] slave6
[3] 18:24:37 [SUCCESS] slave1
[4] 18:24:37 [SUCCESS] slave3
[5] 18:24:37 [SUCCESS] slave2
[6] 18:24:37 [SUCCESS] slave4
//将用户songxitang的组改为bigdata_ops
[root@master ~]# usermod -g bigdata_ops songxitang
[root@master ~]# pssh -i -h slaves usermod -g bigdata_ops songxitang
[1] 18:25:42 [SUCCESS] slave6
[2] 18:25:42 [SUCCESS] slave5
[3] 18:25:42 [SUCCESS] slave2
[4] 18:25:42 [SUCCESS] slave3
[5] 18:25:42 [SUCCESS] slave4
[6] 18:25:42 [SUCCESS] slave1
//查看uid和gid
[root@master ~]# id songxitang
uid=1005(songxitang) gid=1006(bigdata_ops) groups=1006(bigdata_ops)
//修改密码，只修改Hue服务器上的用户就行？
[root@master ~]# passwd songxitang
Changing password for user songxitang.
New password: 
BAD PASSWORD: The password contains the user name in some form
Retype new password: 
passwd: all authentication tokens updated successfully.

切记， Unix 账户、LDAP 账户的密码必须一致，否则无法进行 Sentry 赋权

二、导入 Unix 组 / 账户至 LDAP

导入新用户和新组

我们当然可以使用 LDAP 的 GUI 工具进行工作，但是为了便于理解，我们使用 ldif 文件和 ldapadd 命令进行操作。

好，接下来我们尝试往 LDAP 中添加一个测试组 bigdata_ops，先修改 ldif 文件 /tmp/create_group_bigdata_ops.ldif，其中定义了一个名为 bigdata 的ou，可以理解为大数据部门，定义了一个 bigdata_ops 的组，我们理解为大数据运维团队：

dn: cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: posixGroup
gidNumber: ${UNIX_GROUP_NUMBER}  # 用Linux系统中实际的gid替换
memberUID: ${MEMBER_UID}  # 用bigdata组下的用户的uid替换
description: ${DESCRIPTION_STIRNG} # 描述

使用 ldapadd 导入:

# ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_group_bigdata_ops.ldif

添加失败：

添加失败：
ldap_add no such object (32) matched dn dc=example,dc=com

解决方法：
I solved changing the OU on ldif file for one that exist.
故，需要在 LDAP中添加 ou=bigdata,dc=example,dc=com 的 organizationalUnit

这里写图片描述

这里写图片描述

然后在导入，成功：

# ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_group_bigdata_ops.ldif

在 LDAP 中添加 songxitang 用户，先创建 ldif 文件 create_user_songxitang.ldif，我们先不在这里定义密码，因为这样的话在执行ldapsearch` 的时候所得到的密码属性是明文，并不安全：

dn: uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: xitang
sn: song
cn: songxitang
mail: songxitang@domain.com
telephoneNumber: 0101-3333333
mobile: 13111111111
uid: songxitang
uidNumber: 1005
gidNumber: 1006
homeDirectory: /home/songxitang
loginShell: /bin/bash

使用 ldapadd 导入：

ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_user_songxitang.ldif

使用 ldapmodify 修改密码：

ldappasswd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -w root "uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com" -S

再执行 search 的时候会发现多了一行 userPassword 属性，是加密后的密码：

# ldapsearch -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -w root -b "uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com"
# songxitang, bigdata_ops, bigdata, example.com
dn: uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: xitang
sn: song
cn: songxitang
mail: songxitang@domain.com
telephoneNumber: 0101-3333333
mobile: 13111111111
uid: songxitang
uidNumber: 1005
gidNumber: 1006
homeDirectory: /home/songxitang
loginShell: /bin/bash
userPassword:: e1NTSEF9SE92bFdPeTBrdkpFdXlHcHEzbHVheHBUNUluR2RaMzA=

在已经存在的 LDAP 组添加用户

假设我们现在在已经存在的 bigdata_ops 组里想添加一个新的用户，我们该怎么做呢？以添加 gwcheng 用户为例，假设我们已经创建了 Unix 账户， uid 为 1002，也是从属于 bidata_ops 组。我们首先还是创建 ldif 文件 create_user_gwcheng.ldif：

dn: uid=gwcheng,cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: cheng
sn: guangwei
cn: gwcheng
mail: gwcheng@domain.com
telephoneNumber: 0101-6666666
mobile: 1316666666
uid: gwcheng
uidNumber: 1002
gidNumber: 1006
homeDirectory: /home/gwcheng
loginShell: /bin/bash

导入gwcheng用户：

ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_user_gwcheng.ldif

添加组（bigdata_ops）和用户(gwcheng)的映射：
创建 ldif 文件 add_user_gwcheng_to_group_bigdata_ops.ldif ：

dn: cn=bigdata_ops,ou=bigdata,dc=example,dc=com
changetype: modify
add: memberUid
memberUid: gwcheng

修改上面的组和用户的映射：

ldapmodify -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f add_user_gwcheng_to_group_bigdata_ops.ldif

至此，我们已经添加了两个用户 songxitang gwcheng 至分组 bigdata_ops。

这里写图片描述

三、添加 Principal (Optional)

如果不添加Principal的话，只能在 Hue WebGUI 界面中操作。不能再Terminal终端进行操作。

# kadmin.local -q "addprinc songxitang"
# kadmin.local -q "addprinc gwcheng"

四、同步 LDAP 组 / 账户至 HUE

请注意，LDAP 中的组对应 HUE 中的组，对应 Sentry 中的一个 Role。所有 LDAP 组下的用户，都具备该组对应 Role 的权限，这样就达到了同组用户同角色的目的。

使用 admin 身份登录 HUE，选择 Manage Users -> Groups -> Add/Sync LDAP Group，输入组名称 bigdata_ops，勾选Import new members，点击Add/Sync group，即完成导入，这个时候可以看到已经导入了 songxitang 和 gwcheng 两个用户。

这里写图片描述

这里写图片描述

五、Sentry权限控制

Hue -> Security -> Hive Tables

这里写图片描述

然后，以songxitang用户登录Hue，便可根据赋予的权限操作。

这篇关于Cloudera Manager 配置 LDAP - 通过搜索绑定实现用户和组的映射的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1009371。

相关文章

使用Python实现IP地址和端口状态检测与监控

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述：为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展
阅读更多...
解决IDEA报错:编码GBK的不可映射字符问题

解决IDEA报错:编码GBK的不可映射字符问题

《解决IDEA报错:编码GBK的不可映射字符问题》：本文主要介绍解决IDEA报错:编码GBK的不可映射字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录IDEA报错:编码GBK的不可映射字符终端软件问题描述原因分析解决方案方法1：将命令改为方法2：右下jav
阅读更多...
Python实现微信自动锁定工具

Python实现微信自动锁定工具

《Python实现微信自动锁定工具》在数字化办公时代,微信已成为职场沟通的重要工具,但临时离开时忘记锁屏可能导致敏感信息泄露,下面我们就来看看如何使用Python打造一个微信自动锁定工具吧... 目录引言：当微信隐私遇到自动化守护效果展示核心功能全景图技术亮点深度解析1. 无操作检测引擎2. 微信路径智能获
阅读更多...
Python中pywin32 常用窗口操作的实现

Python中pywin32 常用窗口操作的实现

《Python中pywin32常用窗口操作的实现》本文主要介绍了Python中pywin32常用窗口操作的实现,pywin32主要的作用是供Python开发者快速调用WindowsAPI的一个... 目录获取窗口句柄获取最前端窗口句柄获取指定坐标处的窗口根据窗口的完整标题匹配获取句柄根据窗口的类别匹配获取句
阅读更多...
在 Spring Boot 中实现异常处理最佳实践

在 Spring Boot 中实现异常处理最佳实践

《在SpringBoot中实现异常处理最佳实践》本文介绍如何在SpringBoot中实现异常处理,涵盖核心概念、实现方法、与先前查询的集成、性能分析、常见问题和最佳实践,感兴趣的朋友一起看看吧... 目录一、Spring Boot 异常处理的背景与核心概念1.1 为什么需要异常处理？1.2 Spring B
阅读更多...
SpringBoot3.4配置校验新特性的用法详解

SpringBoot3.4配置校验新特性的用法详解

《SpringBoot3.4配置校验新特性的用法详解》SpringBoot3.4对配置校验支持进行了全面升级,这篇文章为大家详细介绍了一下它们的具体使用,文中的示例代码讲解详细,感兴趣的小伙伴可以参考... 目录基本用法示例定义配置类配置 application.yml注入使用嵌套对象与集合元素深度校验开发
阅读更多...
Python位移操作和位运算的实现示例

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项：2. 位运算2.1
阅读更多...
如何在 Spring Boot 中实现 FreeMarker 模板

如何在 Spring Boot 中实现 FreeMarker 模板

《如何在SpringBoot中实现FreeMarker模板》FreeMarker是一种功能强大、轻量级的模板引擎,用于在Java应用中生成动态文本输出（如HTML、XML、邮件内容等）,本文... 目录什么是 FreeMarker 模板？在 Spring Boot 中实现 FreeMarker 模板1. 环
阅读更多...
Qt实现网络数据解析的方法总结

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理（处理粘包/拆包）3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义
阅读更多...
SpringMVC 通过ajax 前后端数据交互的实现方法

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》：本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中，经常在html页面通过AJAX进行前后端数据的交互，SpringMVC的controll
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2