开源大数据平台如何才能保证身份认证安全?Kerberos

2024-04-06 18:48

本文主要是介绍开源大数据平台如何才能保证身份认证安全?Kerberos,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在古希腊神话中,Kerberos是住在冥河岸边的三头犬,负责看守冥界的入口。而在信息技术界,Kerberos是一种被广泛采用的网络认证协议,通过对称加密的技术保护网络系统的安全。特别是在Hadoop开源大数据平台,Kerberos是内置支持的安全的用户认证方式。它可以独立于各服务组件,保证只有通过身份认证的节点才可以访问对应的服务,进而维护开源大数据的系统安全。

作为开源大数据卫士的Kerberos,其安全性可靠性毋庸置疑,但是在运营维护和部署成本等方面,却会为规模较大的企业用户带来一笔不小的负担。通常,企业在接入Kerberos之前,已经在多个场景下配置了对应的身份认证系统。而Hadoop开源大数据平台所使用的Kerberos,并不能支持除Kerberos内置的用户名密码认证以外的其它认证机制,无法和企业已经部署的用户认证方式进行无缝对接。更让人烦恼的是,Java也没有一个完整的Kerberos库,很难对它进行更改。因此,要把已有的身份认证系统接入Kerberos的认证流程中,其开发难度和工作量都将会是非常庞大的。

开源大数据平台如何才能保证身份认证安全?

 

Kerberos 在现实中遇到的问题

Kerberos的这些问题,对腾讯AI Lab这样的企业级用户,造成了不小的困扰:腾讯AI Lab此前的大数据集群并没有启用身份认证,无法实现用户存储隔离,任意用户都可通过更改客户端的配置,伪造成超级用户访问所有内容。所以,必须把分散在不同服务上的认证方式都合并在一起,基于已有的大数据集群进行身份认证的二次开发。这要求开发者保证现有的服务不受影响,让用户可以沿用过去熟悉的认证方式,不能做太多的更改。同时,还不能用把所有用户账号信息都同步到新数据库的方式,因为这会增加大量的部署和运维成本。

为了帮助腾讯AI Lab应对这些挑战,在安全认证领域积累了丰富经验的英特尔大数据部门,基于英特尔®的数据中心平台,英特尔开发了可插拔的身份认证框架Hadoop Authentication Service (HAS)它可以与现有的认证和授权体系对接,无需在已有的用户账号系统和Kerberos数据库之间迁移和同步用户账号信息,也不影响现有服务的连续性。同时,这种架构不需要独立维护自己的身份信息,减少了中间环节,大大降低了企业身份信息管理的复杂性和风险。

开源大数据平台如何才能保证身份认证安全?

 

HAS系统架构示意图

与传统的Kerberos不同,HAS在功能上包括了一个Token Authority和一个Apache Kerby 提供的Kerby KDC。Token Authority将其他已有认证系统的信息转换成HAS Token,再使用HAS Token向Kerby KDC换取Kerberos Ticket。拿到Kerberos Ticket后,就可以通过标准的Kerberos协议流程访问Hadoop集群的服务。

基于这样的技术手段,用户可以继续使用原先的Kerberos认证机制,也可以继续使用以前熟悉的认证方式登录。所有分散的服务都统一在一套认证系统中,无需再分别重新设置。与此同时,因为避免了用户账户信息的拷贝和同步,HAS降低了运营维护的复杂度和成本,和信息泄露的风险。

HAS不仅可以作为在Hadoop集群上通用集成的用户认证解决方案,更可以定制成插件与企业特有认证系统结合。针对腾讯AI Lab的需求,英特尔还定制了MySQL插件。当用户选择使用MySQL插件认证方式后,只需要在自己的环境中配置好账号信息,客户端就会自动完成用户身份认证。此外,英特尔还实现了自动化部署工具,一键部署Keytab与SSL证书,极大简化了部署与优化工作。

HAS能够帮助各种不同的云计算、大数据相关的行业用户,更便捷地以低成本部署身份认证系统。对英特尔的工程师而言:技术是为了服务用户,而不是为了展现自己的技术能力。开发HAS的初衷,就是为了方便用户的使用,将复杂的问题变得简单。

HAS还在不断地完善中,借助Intel®SGX技术,英特尔未来会进一步提高HAS的安全性。在Intel的下一代Xeon SP处理器上,将有机会运用SGX技术来隔离处理和存储HAS认证过程中产生和使用的敏感数据,让身份认证更加安全。

这篇关于开源大数据平台如何才能保证身份认证安全?Kerberos的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/880567

相关文章

解决mysql插入数据锁等待超时报错:Lock wait timeout exceeded;try restarting transaction

《解决mysql插入数据锁等待超时报错:Lockwaittimeoutexceeded;tryrestartingtransaction》:本文主要介绍解决mysql插入数据锁等待超时报... 目录报错信息解决办法1、数据库中执行如下sql2、再到 INNODB_TRX 事务表中查看总结报错信息Lock

使用C#删除Excel表格中的重复行数据的代码详解

《使用C#删除Excel表格中的重复行数据的代码详解》重复行是指在Excel表格中完全相同的多行数据,删除这些重复行至关重要,因为它们不仅会干扰数据分析,还可能导致错误的决策和结论,所以本文给大家介绍... 目录简介使用工具C# 删除Excel工作表中的重复行语法工作原理实现代码C# 删除指定Excel单元

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创

Nacos日志与Raft的数据清理指南

《Nacos日志与Raft的数据清理指南》随着运行时间的增长,Nacos的日志文件(logs/)和Raft持久化数据(data/protocol/raft/)可能会占用大量磁盘空间,影响系统稳定性,本... 目录引言1. Nacos 日志文件(logs/ 目录)清理1.1 日志文件的作用1.2 是否可以删除

使用Python获取JS加载的数据的多种实现方法

《使用Python获取JS加载的数据的多种实现方法》在当今的互联网时代,网页数据的动态加载已经成为一种常见的技术手段,许多现代网站通过JavaScript(JS)动态加载内容,这使得传统的静态网页爬取... 目录引言一、动态 网页与js加载数据的原理二、python爬取JS加载数据的方法(一)分析网络请求1

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失

Python处理超大规模数据的4大方法详解

《Python处理超大规模数据的4大方法详解》在数据的奇妙世界里,数据量就像滚雪球一样,越变越大,从最初的GB级别的小数据堆,逐渐演变成TB级别的数据大山,所以本文我们就来看看Python处理... 目录1. Mars:数据处理界的 “变形金刚”2. Dask:分布式计算的 “指挥家”3. CuPy:GPU

使用Vue-ECharts实现数据可视化图表功能

《使用Vue-ECharts实现数据可视化图表功能》在前端开发中,经常会遇到需要展示数据可视化的需求,比如柱状图、折线图、饼图等,这类需求不仅要求我们准确地将数据呈现出来,还需要兼顾美观与交互体验,所... 目录前言为什么选择 vue-ECharts?1. 基于 ECharts,功能强大2. 更符合 Vue