Elasticsearch:将文档级安全性 (DLS) 添加到你的内部知识搜索

2024-02-02 06:36

本文主要是介绍Elasticsearch:将文档级安全性 (DLS) 添加到你的内部知识搜索,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:来自 Elastic Sean Story

你的企业很可能淹没在内部数据中。

你拥有问题跟踪、笔记记录、会议记录、维基页面、视频录制、聊天以及即时消息和私信。 并且不要忘记电子邮件!

难怪如此多的企业都在尝试创造工作场所搜索体验 - 为员工提供集中、一站式的内部信息搜索服务。

通过 Elastic 的连接器(connectors)目录,这相对容易做到。 但是,当你将所有数据编入索引并准备好进行搜索后,如何确保其安全? 毕竟,苔丝(来自工程部门)不应该查看鲍勃(来自人力资源部门)关于绩效评估的笔记。 你如何确保访问此统一搜索栏的每个单独用户都只能获得他们有权查看的数据的独特视图?

进入文档级安全性 (document level security - DLS)。

背景

关注 Elasticsearch 一段时间的人可能已经意识到,DLS 已经成为 Elasticsearch 的一项功能相当长一段时间了。 它是用户授权(user authorization)这一更大主题的一部分,而且确实非常简单。 你将元数据嵌入到 Elasticsearch 文档中,然后创建一个 Elasticsearch 查询,根据描述用户授权的文档元数据进行过滤。 该查询用于创建 Elasticsearch 角色。

在查询时,当搜索用户进行身份验证时,他们的角色(如果有)将被识别,并且嵌入的查询过滤器(如果有)将应用于他们的搜索。

让我们看一个简单的例子。 假设我们有两个文档:

PUT example/_doc/1
{"my-data": true,"text": "This data is mine"
}PUT example/_doc/2
{"my-data": false,"text": "This data belongs to someone else"
}

仅获取我的数据的查询是:

GET example/_search
{"query": {"term": {"my-data": {"value": true}}}
}

该查询可以嵌入到角色中,例如:

POST /_security/role/my_role
{"indices": [{"names": [ "example" ],"privileges": ["read"],"query": {"term": {"my-data": {"value": true}}}}]
}

注意:我们必须为我们的 Elasticsearch 集群配置安全才可以顺利地运行上面的命令。

因此,如果我的用户被分配角色 my_role,如果我这样做:

GET example/_search

我们可以使用如下的命令来进行验证:

curl -k -XGET -u liuxg:password "https://localhost:9200/example/_search" -H "kbn-xsrf: reporting"

从上面的输出中,我们可以看到只有文档 1 被搜索到。文档 2 没有被搜索到。

虽然这个例子在理论上很简单,但它有相对较多的移动部件。

  • 你必须确保文档包含相关元数据("my-data": true 与 "my-data": false)
  • 你必须相信这些文档中的元数据是准确的
  • 你必须使用精心设计的 Elasticsearch 查询为每个搜索用户创建一个角色
  • 你必须确保您创建的每个角色在查询时正确映射到正确的用户
  • 你必须确保上述所有内容均保持最新。

最后一项尤其困难。 当你企业中的人员加入、离开、切换团队或晋升时,这需要进行更改 - 可能会更改你的(元)数据和你的角色。 如果你添加支持共享或访问编辑的数据源,你肯定需要确保你的(元)数据保持最新。

使用 Elastic 连接器

连接器文档级安全性基于 Elasticsearch DLS 构建。 对于许多连接器来说,这包括同步相关元数据和角色描述符以支持 DLS。 这会导致内容索引中的文档自动包含元数据(通常在 _allow_access_control 字段中)来描述有权搜索该文档的人员/组,以及特殊 .search-acl-filter-<index 中的文档 -name> 索引,包含为给定搜索用户构建具体角色或 API 密钥所需的角色描述符 JSON。

你可以在此处找到哪些连接器具有可用的 DLS。 在本博客中,我们将引用一个使用 Sharepoint Online 连接器的示例应用程序。 这是我们启用 DLS 的第一个连接器,但该示例可以轻松适应任何启用 DLS 的连接器。

如果你的连接器符合条件,并且你拥有 Platinum+ Elasticsearch 许可证,则可以通过连接器配置页面上的开关启用 DLS。

从那里开始,只需运行完全同步和访问控制同步,Elasticsearch 将获得所需的所有数据。

一个例子

然后什么?

一旦 Elasticsearch 拥有角色描述符和文档数据以及这些角色过滤器的足够元数据,你就可以构建安全的搜索体验。

我们已经构建了一个示例知识搜索应用程序,我们将在本博客中使用它,欢迎你查看其源代码。 但是,我们确实想强调,这只是一个示例 - 它尚未准备好在生产中自行运行。 请运用良好的判断力,不要运行你未阅读或不理解的代码。

该应用程序的架构非常简单。

它由 Flask 后端和 React 前端组成。 后端配置了环境变量以与 Elasticsearch 建立连接。

export ELASTICSEARCH_URL=...
export ELASTIC_USERNAME=...
export ELASTIC_PASSWORD=...

使用此连接,后端提供三个端点:

  • GET /api/persona 此端点列出连接器在访问控制同步期间找到的 “身份” 或 “角色” 的标识符。 前端使用此列表填充角色下拉列表,以便演示搜索结果如何根据所选角色而变化。
  • GET /api/indices 该端点列出了你的搜索应用程序中已包含的索引。 前端使用此列表来允许你选择要搜索的列表。
  • GET /api/api_key?persona=<persona> 此端点根据所选角色创建并返回 Elasticsearch API 密钥。 在生产系统中,角色不会是请求参数,而是从身份验证凭据中推断出来。 然后前端使用此 API 密钥向 Elasticsearch 发出搜索请求。

注意事项

如上所述,该示例不应在生产中使用。 差距包括:

  • 它不实现身份验证。 生产就绪的应用程序需要一种方法让用户进行身份验证并验证其身份,而不是从下拉列表中选择用户。
  • 它不使用 SSL/TLS。 后端当前通过 HTTP(而不是 HTTPS)将 Elasticsearch API 密钥传输到前端。
  • 前端直接向 Elasticsearch 发出 /_search 请求。 根据生产用例,你可能不希望像这样向最终用户公开 Elasticsearch。 相反,建议从前端向后端发出请求(同样,实施身份验证),然后让后端将这些请求转换为 Elasticsearch 查询。

源代码

下面我们链接到使用 DLS 实现搜索所需的关键代码片段。

创建经过身份验证的用户的角色描述符

代码链接

identity = elasticsearch_client.get(index=identities_index, id=persona)permissions = identity["_source"]["query"]["template"]["params"]["access_control"]role_descriptor = {"dls-role": {"cluster": ["all"],"indices": [{"names": [search_app_name],"privileges": ["read"],"query": {"template": {"params": {"access_control": permissions},"source": """{"bool": {"should": [{"bool": {"must_not": {"exists": {"field": "_allow_access_control"}}}},{"terms": {"_allow_access_control.enum": {{#toJson}}access_control{{/toJson}}}}]}}""",}},}],"restriction": {"workflows": ["search_application_query"]},}}

你可能会注意到,此角色描述符中的查询模板比本博客前面提供的简单示例要复杂得多。 这个查询做了几件事:

  1. 它使用查询模板,而不是显式查询。 这使得在阅读时更容易将一长串权限列表与查询语法分开。
  2. 它使用布尔查询。 这使我们能够结合多个逻辑检查。
  3. 它授予对不包含 _allow_access_control 字段的任何文档的访问权限
  4. 它授予对 _allow_access_control 字段包含此用户 permissions 中找到的值的文档的访问权限

从该角色描述符创建 API 密钥

代码链接

api_key = elasticsearch_client.security.create_api_key(name=search_app_name+"-internal-knowledge-search-example-"+persona, expiration="1h", role_descriptors=role_descriptor)return {"api_key": api_key['encoded']}

使用 API 密钥搜索

代码链接

const apiKey = searchPersonaAPIKey;const client = SearchApplicationClient(appName,searchEndpoint,apiKey,{facets: {description: {type: "text",},},},{disableCache: true,});const sortArray = Object.values(sorts).map((sort) => ({[sort.title]: sort.sortDirection,}));const rawResults = await client().query(query).setSort(sortArray).setPageSize(10).addParameter("indices", indexFilter).search();const searchResults = rawResults.hits.hits.map((hit: any) => {return mapHitToSearchResult(hit);});

原文:Adding Document Level Security (DLS) to your Internal Knowledge Search — Elastic Search Labs

这篇关于Elasticsearch:将文档级安全性 (DLS) 添加到你的内部知识搜索的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/669753

相关文章

C#实现一键批量合并PDF文档

《C#实现一键批量合并PDF文档》这篇文章主要为大家详细介绍了如何使用C#实现一键批量合并PDF文档功能,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言效果展示功能实现1、添加文件2、文件分组(书签)3、定义页码范围4、自定义显示5、定义页面尺寸6、PDF批量合并7、其他方法

Java实现在Word文档中添加文本水印和图片水印的操作指南

《Java实现在Word文档中添加文本水印和图片水印的操作指南》在当今数字时代,文档的自动化处理与安全防护变得尤为重要,无论是为了保护版权、推广品牌,还是为了在文档中加入特定的标识,为Word文档添加... 目录引言Spire.Doc for Java:高效Word文档处理的利器代码实战:使用Java为Wo

使用Python实现Word文档的自动化对比方案

《使用Python实现Word文档的自动化对比方案》我们经常需要比较两个Word文档的版本差异,无论是合同修订、论文修改还是代码文档更新,人工比对不仅效率低下,还容易遗漏关键改动,下面通过一个实际案例... 目录引言一、使用python-docx库解析文档结构二、使用difflib进行差异比对三、高级对比方

Python自动化处理PDF文档的操作完整指南

《Python自动化处理PDF文档的操作完整指南》在办公自动化中,PDF文档处理是一项常见需求,本文将介绍如何使用Python实现PDF文档的自动化处理,感兴趣的小伙伴可以跟随小编一起学习一下... 目录使用pymupdf读写PDF文件基本概念安装pymupdf提取文本内容提取图像添加水印使用pdfplum

Python从Word文档中提取图片并生成PPT的操作代码

《Python从Word文档中提取图片并生成PPT的操作代码》在日常办公场景中,我们经常需要从Word文档中提取图片,并将这些图片整理到PowerPoint幻灯片中,手动完成这一任务既耗时又容易出错,... 目录引言背景与需求解决方案概述代码解析代码核心逻辑说明总结引言在日常办公场景中,我们经常需要从 W

Unity新手入门学习殿堂级知识详细讲解(图文)

《Unity新手入门学习殿堂级知识详细讲解(图文)》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程

C#高效实现Word文档内容查找与替换的6种方法

《C#高效实现Word文档内容查找与替换的6种方法》在日常文档处理工作中,尤其是面对大型Word文档时,手动查找、替换文本往往既耗时又容易出错,本文整理了C#查找与替换Word内容的6种方法,大家可以... 目录环境准备方法一:查找文本并替换为新文本方法二:使用正则表达式查找并替换文本方法三:将文本替换为图

Python批量替换多个Word文档的多个关键字的方法

《Python批量替换多个Word文档的多个关键字的方法》有时,我们手头上有多个Excel或者Word文件,但是领导突然要求对某几个术语进行批量的修改,你是不是有要崩溃的感觉,所以本文给大家介绍了Py... 目录工具准备先梳理一下思路神奇代码来啦!代码详解激动人心的测试结语嘿,各位小伙伴们,大家好!有没有想

Python调用LibreOffice处理自动化文档的完整指南

《Python调用LibreOffice处理自动化文档的完整指南》在数字化转型的浪潮中,文档处理自动化已成为提升效率的关键,LibreOffice作为开源办公软件的佼佼者,其命令行功能结合Python... 目录引言一、环境搭建:三步构建自动化基石1. 安装LibreOffice与python2. 验证安装

Python操作PDF文档的主流库使用指南

《Python操作PDF文档的主流库使用指南》PDF因其跨平台、格式固定的特性成为文档交换的标准,然而,由于其复杂的内部结构,程序化操作PDF一直是个挑战,本文主要为大家整理了Python操作PD... 目录一、 基础操作1.PyPDF2 (及其继任者 pypdf)2.PyMuPDF / fitz3.Fre