开源大数据平台如何才能保证身份认证安全?Kerberos

2024-04-06 18:48

本文主要是介绍开源大数据平台如何才能保证身份认证安全?Kerberos,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在古希腊神话中,Kerberos是住在冥河岸边的三头犬,负责看守冥界的入口。而在信息技术界,Kerberos是一种被广泛采用的网络认证协议,通过对称加密的技术保护网络系统的安全。特别是在Hadoop开源大数据平台,Kerberos是内置支持的安全的用户认证方式。它可以独立于各服务组件,保证只有通过身份认证的节点才可以访问对应的服务,进而维护开源大数据的系统安全。

作为开源大数据卫士的Kerberos,其安全性可靠性毋庸置疑,但是在运营维护和部署成本等方面,却会为规模较大的企业用户带来一笔不小的负担。通常,企业在接入Kerberos之前,已经在多个场景下配置了对应的身份认证系统。而Hadoop开源大数据平台所使用的Kerberos,并不能支持除Kerberos内置的用户名密码认证以外的其它认证机制,无法和企业已经部署的用户认证方式进行无缝对接。更让人烦恼的是,Java也没有一个完整的Kerberos库,很难对它进行更改。因此,要把已有的身份认证系统接入Kerberos的认证流程中,其开发难度和工作量都将会是非常庞大的。

开源大数据平台如何才能保证身份认证安全?

 

Kerberos 在现实中遇到的问题

Kerberos的这些问题,对腾讯AI Lab这样的企业级用户,造成了不小的困扰:腾讯AI Lab此前的大数据集群并没有启用身份认证,无法实现用户存储隔离,任意用户都可通过更改客户端的配置,伪造成超级用户访问所有内容。所以,必须把分散在不同服务上的认证方式都合并在一起,基于已有的大数据集群进行身份认证的二次开发。这要求开发者保证现有的服务不受影响,让用户可以沿用过去熟悉的认证方式,不能做太多的更改。同时,还不能用把所有用户账号信息都同步到新数据库的方式,因为这会增加大量的部署和运维成本。

为了帮助腾讯AI Lab应对这些挑战,在安全认证领域积累了丰富经验的英特尔大数据部门,基于英特尔®的数据中心平台,英特尔开发了可插拔的身份认证框架Hadoop Authentication Service (HAS)它可以与现有的认证和授权体系对接,无需在已有的用户账号系统和Kerberos数据库之间迁移和同步用户账号信息,也不影响现有服务的连续性。同时,这种架构不需要独立维护自己的身份信息,减少了中间环节,大大降低了企业身份信息管理的复杂性和风险。

开源大数据平台如何才能保证身份认证安全?

 

HAS系统架构示意图

与传统的Kerberos不同,HAS在功能上包括了一个Token Authority和一个Apache Kerby 提供的Kerby KDC。Token Authority将其他已有认证系统的信息转换成HAS Token,再使用HAS Token向Kerby KDC换取Kerberos Ticket。拿到Kerberos Ticket后,就可以通过标准的Kerberos协议流程访问Hadoop集群的服务。

基于这样的技术手段,用户可以继续使用原先的Kerberos认证机制,也可以继续使用以前熟悉的认证方式登录。所有分散的服务都统一在一套认证系统中,无需再分别重新设置。与此同时,因为避免了用户账户信息的拷贝和同步,HAS降低了运营维护的复杂度和成本,和信息泄露的风险。

HAS不仅可以作为在Hadoop集群上通用集成的用户认证解决方案,更可以定制成插件与企业特有认证系统结合。针对腾讯AI Lab的需求,英特尔还定制了MySQL插件。当用户选择使用MySQL插件认证方式后,只需要在自己的环境中配置好账号信息,客户端就会自动完成用户身份认证。此外,英特尔还实现了自动化部署工具,一键部署Keytab与SSL证书,极大简化了部署与优化工作。

HAS能够帮助各种不同的云计算、大数据相关的行业用户,更便捷地以低成本部署身份认证系统。对英特尔的工程师而言:技术是为了服务用户,而不是为了展现自己的技术能力。开发HAS的初衷,就是为了方便用户的使用,将复杂的问题变得简单。

HAS还在不断地完善中,借助Intel®SGX技术,英特尔未来会进一步提高HAS的安全性。在Intel的下一代Xeon SP处理器上,将有机会运用SGX技术来隔离处理和存储HAS认证过程中产生和使用的敏感数据,让身份认证更加安全。

这篇关于开源大数据平台如何才能保证身份认证安全?Kerberos的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/880567

相关文章

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

springboot依靠security实现digest认证的实践

《springboot依靠security实现digest认证的实践》HTTP摘要认证通过加密参数(如nonce、response)验证身份,避免明文传输,但存在密码存储风险,相比基本认证更安全,却因... 目录概述参数Demopom.XML依赖Digest1Application.JavaMyPasswo

Java JUC并发集合详解之线程安全容器完全攻略

《JavaJUC并发集合详解之线程安全容器完全攻略》Java通过java.util.concurrent(JUC)包提供了一整套线程安全的并发容器,它们不仅是简单的同步包装,更是基于精妙并发算法构建... 目录一、为什么需要JUC并发集合?二、核心并发集合分类与详解三、选型指南:如何选择合适的并发容器?在多

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性