SPU赋能PSI：探秘隐私集合求交核心技术与高级调度架构实践

2024-03-28 03:20
文章标签 实践 赋能 架构 高级 集合 调度 隐私 核心技术 探秘 求交 psi spu

本文主要是介绍SPU赋能PSI：探秘隐私集合求交核心技术与高级调度架构实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.SPU实现的PSI介绍

1.PSI的定义和种类

隐私集合求交（Private Set Intersection, PSI）是一种在密码学和安全多方计算（MPC）领域中的关键技术，允许两个或多个参与者在不泄露各自输入集合中非交集部分的前提下，找出他们所拥有的共同元素。隐语在 PSI 技术方面提供了相关的解决方案。

根据不同的实现机制和技术原理，PSI 可以分为以下几种类型：

  1. 基于公钥密码学的 PSI 方案：

    • 基于判定型Diffie-Hellman (DDH)：利用 DDH 难题设计的 PSI 协议，允许在不暴露额外信息的情况下计算集合交集。
    • 基于RSA盲签名：通过 RSA 密码系统和盲签名技术实现集合求交，保证数据隐私性。

  2. 基于不经意传输 (Oblivious Transfer, OT)：OT 是构建 PSI 的基础组件之一，通过 OT 实现让一方能够得知某些信息而无法获知其他无关信息，从而实现在不知情的情况下完成集合求交操作。

  3. 基于通用MPC的PSI方案：

    • 基于混淆电路 (Garbled Circuit, GC)：使用混淆电路技术，将逻辑运算转化为加密形式，使得计算过程能够在不解密数据的情况下得出交集结果。

  4. 基于同态加密 (Homomorphic Encryption, HE)：通过支持某种数学运算的同态加密算法，可以在加密数据上直接执行计算，解密后得到交集结果，而无需在明文状态下交互数据。

此外，按照参与方的数量，PSI 还可以分类为：

  • 两方PSI：仅涉及两个参与方之间的集合求交。
  • 多方PSI：涉及三个或更多参与方之间的集合求交。

隐语还提到了对 PSI 协议的进一步细分，比如：

  • 平衡PSI (Balanced PSI)：适合双方数据量相差不大的场景，如 ecdh/kkrt16/bc22 协议。
  • 非平衡隐私集合求交 (Unbalanced PSI)：针对双方数据规模差异较大的情况设计的专门协议，能够有效处理数据量不对称时的效率问题。
    在这里插入图片描述

2.PSI功能分层

隐私集合求交（Private Set Intersection, PSI）作为一种密码学技术，虽然本身不严格划分成多层架构，但在其实现过程中确实可以抽象出不同层次的功能模块来描述其工作流程和安全性保证。以下是按照逻辑层次对PSI功能的一种概括分层：

  1. 用户接口层：
    这一层主要是对最终用户或者应用程序提供接口，让用户能够方便地提交待求交的私有数据集合，并获取求交结果。这一层通常会对原始数据进行预处理和格式转换，以便适应底层 PSI 协议的要求。

  2. 数据加密层：
    在这一层，用户提交的原始数据被转化为加密形式，这是 PSI 安全性的关键步骤。可以采用多种加密技术，如同态加密、不经意传输（OT）、基于身份的加密（IBE）、或是基于零知识证明（ZKP）等方法，确保数据在传输和计算过程中始终保持加密状态。

  3. 协议层：
    协议层具体实现 PSI 的核心算法和通信流程，例如基于哈希的 PSI、基于加法同态加密的 PSI 或基于 oblivious transfer 的 PSI。此层的设计要确保即使在多方参与的情况下，除了交集部分外，任何一方都无法得知对方集合的具体内容。

  4. 通信层：
    负责执行协议层所需的网络通信任务，包括但不限于数据交换、消息同步和错误恢复等。这一层确保了 PSI 协议能在分布式环境下正确执行。

  5. 计算层：
    包括对加密数据进行高效计算的方法，如基于半同态加密的计算、基于 garbled circuit 的计算等，用于在不解密情况下直接在加密数据上进行交集操作。

  6. 结果解密与验证层：
    在完成交集计算后，这一层负责对加密的结果进行解密，并可能包含对结果的完整性或正确性验证机制，确保输出的交集确实是各个参与方私有集合的真实交集。
    在这里插入图片描述

3.SPU实现的PSI种类

SPU（Secure Process Unit）作为一个专注于隐私计算和安全多方计算（MPC）的模块或框架，在实现 PSI（Private Set Intersection，隐私集合求交）功能时，支持多种协议和算法。以下是一些SPU实现的PSI种类：

  1. 基于DDH（Decisional Diffie-Hellman）的PSI协议：
    SPU实现了基于DDH难题的PSI协议，这是一种经典的密码学协议，允许两方在不知道对方完整集合内容的情况下，仅计算出各自的交集部分。

  2. KKRT协议：
    KKRT是一种高效的多方PSI协议，SPU提供了KKRT协议的实现，它适用于多方之间进行隐私集合求交的操作。

  3. 基于BC22PCG的协议：
    BC22PCG可能是另一种具体的PSI协议变体，但确切含义未在已有资料中详细说明，推测可能是针对特定应用场景优化过的PSI协议。

除此之外，SPU可能还支持其他的PSI变种，比如针对数据量不平衡情况的非平衡PSI协议（Unbalanced PSI），以及可能结合其他密码学工具如同态加密（HE）或不经意传输（Oblivious Transfer, OT）技术实现的更复杂版本的PSI协议。

总之，SPU旨在通过提供丰富的PSI协议选择和优化实现，以满足不同场景下对于数据隐私保护和性能需求的多样化要求。
在这里插入图片描述

2.SPU PSI调度架构

SPU PSI 调用框架是一种用于处理大规模数据集的隐私计算技术。该框架主要由以下几个部分组成：

  1. 统一入口：用户可以通过 bucket_psi 函数进入系统，这是高级API的一个入口点。
  2. 支持分桶求交：为了处理大量数据，SPU PSI 使用了分桶策略。这使得系统能够处理高达10亿规模的数据集。
  3. 输入输出处理：在数据处理过程中，系统会检查求交id列的数据完整性，并确保没有重复项。这些操作有助于保证数据质量。
  4. 输出处理：最后，系统会对求交结果进行排序，并生成完整的label列，以便于后续分析或应用。

在具体实现上，SPU PSI 调用框架包含两个关键的API：

  • bucket_psi: 这个高级API通过Hash分桶方法支持海量数据，并涵盖了数据查重、分桶求交、结果广播及结果排序等全生产流程。
  • mem_psi: 与 bucket_psi 不同，mem_psi 是一个低级API，它提供了算法内核的高性能，并且具有统一易用的接口。

此外，Operator 层起到了重要的作用：

  • 它作为算法接入层，向上提供统一接口，方便用户使用。
  • 工程化封装提高了系统的可维护性和扩展性。
  • 注册工厂模式的应用提升了协议工程化的效率，使系统更加灵活和高效。

在这里插入图片描述

总的来说，SPU PSI 调用框架提供了一个全面、系统的方法来处理大规模数据集中的隐私计算问题，从而满足现代数据安全和隐私保护的需求。

3.PSI开发指南

1.启动Ray集群

启动ray集群的方法有两种，一种是Alice首先启动ray集群，另一种是Bob首先启动ray集群。以下是两种方法的具体步骤：

  1. Alice首先启动ray集群:

    • 注意这里的命令是启动Ray的主节点。
    • 输入以下命令来启动ray集群:
      ray start --head --node-ip-address="ip" --port="port" --include-dashboard=False --disable-usage-stats
    • 其中，“ip”是要分配给主节点的IP地址，“port”是主节点要监听的端口。

  2. Bob首先启动ray集群:

    • 输入以下命令来启动ray集群:
      ray start --head --node-ip-address="ip" --port="port" --include-dashboard=False --disable-usage-stats
    • 同样，这里“ip”是要分配给主节点的IP地址，“port”是主节点要监听的端口。

注意，每个节点都需要知道其他节点的IP地址和端口号，以便它们可以相互通信。当所有节点都启动后，它们就组成了一个ray集群，可以在其中运行分布式任务和actor。

2.初始化SecretFlow

初始化 SecretFlow 的步骤如下所示：

  1. 创建一个名为 sf_cluster_config 的字典对象，用于配置 SecretFlow 的集群设置。在这个字典中，你需要定义参与方的信息。例如，对于参与者 “alice” 和 “bob”，你可以这样设置：
sf_cluster_config = {'parties': {'alice': {# 替换为 Alice 实际的地址信息'address': 'ip:port of alice','listen_addr': '0.0.0.0:port'},'bob': {# 替换为 Bob 实际的地址信息'address': 'ip:port of bob','listen_addr': '0.0.0.0:port'}},'self_party': 'bob'  # 设置当前参与方的身份，这里是 'bob'
}

请注意，需要替换实际的 IP 地址和端口号。
2. 创建一个名为 tls_config 的字典对象，用于配置 TLS/SSL 加密通信。在这个字典中，你需要指定 CA 根证书、服务器证书和私钥文件路径。例如：

tls_config = {'ca_cert': 'ca root cert of other parties',  # 替换为实际的 CA 根证书路径'cert': 'server cert of alice in pem',  # 替换为实际的服务器证书路径'key': 'server key of alice in pem'  # 替换为实际的服务器私钥路径
}

请注意，如果你是 Alice，则需要使用 Alice 的证书和私钥；如果你是 Bob，则需要使用 Bob 的证书和私钥。
3. 使用 SecretFlow 库的 init() 方法来初始化 SecretFlow。你需要提供 Ray 集群头节点的地址和上面创建的 cluster_config 和 tls_config 对象。例如，如果当前参与方是 Bob，则可以这样做：

import secretflow as sf# 初始化 SecretFlow
sf.init(address='bob ray head node address', cluster_config=sf_cluster_config, tls_config=tls_config)

请将 “bob ray head node address” 替换为 Bob 的 Ray 头节点的实际地址。

同样地，如果当前参与方是 Alice，则应该将 “bob ray head node address” 替换为 Alice 的 Ray 头节点的实际地址。

3.启动SPU设备

  1. 定义一个名为 spu_cluster_def 的字典对象，用于描述 SPU 节点的配置。这个字典应包含一个名为 nodes 的列表，其中包含了所有参与 SPU 计算的节点信息。例如：
spu_cluster_def = {'nodes': [{'party': 'alice', 'address': '192.168.0.1:12945', 'listen_address': '0.0.0.0:12945'}, {'party': 'bob', 'address': '192.168.0.2:12946', 'listen_address': '0.0.0.0:12946'}],'runtime_config': {'protocol': spu.spu_pb2.SEMI2K,'field': spu.spu_pb2.FM128,}
}

在此示例中，有两个节点分别属于 Alice 和 Bob。你需要将 address 和 listen_address 替换成每个节点的实际 IP 地址和端口号。

  1. 使用 SecretFlow 框架中的 sf.SPU() 函数来启动 SPU 设备。你需要将前面定义的 spu_cluster_def 字典传递给这个函数，如下所示：
spu = sf.SPU(spu_cluster_def)

这将在每个节点上启动 SPU 设备，并准备执行相应的计算任务。

需要注意的是，在实际使用时，你可能需要根据你的硬件环境和网络条件调整 address 和 listen_address 的值，以确保它们指向正确的 IP 地址和可用的端口号。同时，protocol 和 field 参数也需要根据你的特定需求进行选择和配置。

4.执行PSI并获取结果

1.使用 spu.psi_csv() 方法执行 PSI 协议

# 参数包括：
select_keys: # 需要选择的键列表。
input_path:  # 输入数据的路径。
output_path: # 输出数据的路径。
receiver: # 接收输出文件的一方。
protocol: # PSI 协议类型，如 'ECDF_PSI_2PC' 或 'BC22_PSI_2PC'.
curve_type: # 曲线类型，如 'CURVE_25519'.

2.接收 PSI 结果
spu.psi_csv() 方法返回一个 reports 对象，它包含有关输入数据量总数和交集数量的信息。
可以通过 reports[‘original_count’] 和 reports[‘intersection_count’] 来获取这些信息。

输出文件的路径也可以通过 reports[‘output_path’] 获取。
3.获取交集结果
根据指定的接收者 (receiver)，可以在对应的输出文件路径中找到交集结果。
例如，如果 receiver=‘alice’，则交集结果保存在 ‘data/psi_output.csv’ 中；如果 receiver=‘bob’，则保存在 ‘data/psi_output_bob.csv’’ 中。
通过执行 PSI，我们可以得到两个数据集之间的交集，同时保持数据的私有性。这使得两个组织能够在不泄露各自原始数据的情况下，发现共同感兴趣的项目或客户。这种技术对于合作分析、市场营销、风险评估等领域具有重要的应用价值。
在这里插入图片描述

这篇关于SPU赋能PSI：探秘隐私集合求交核心技术与高级调度架构实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/854307。

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案：通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建
阅读更多...
Spring Security简介、使用与最佳实践

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security？—— 核心思想二、如何在 Java 项目中使用？——
阅读更多...
防止Linux rm命令误操作的多场景防护方案与实践

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除
阅读更多...
JavaScript中的高级调试方法全攻略指南

JavaScript中的高级调试方法全攻略指南

《JavaScript中的高级调试方法全攻略指南》什么是高级JavaScript调试技巧,它比console.log有何优势,如何使用断点调试定位问题,通过本文,我们将深入解答这些问题,带您从理论到实... 目录观点与案例结合观点1观点2观点3观点4观点5高级调试技巧详解实战案例断点调试：定位变量错误性能分
阅读更多...
C++统计函数执行时间的最佳实践

C++统计函数执行时间的最佳实践

《C++统计函数执行时间的最佳实践》在软件开发过程中,性能分析是优化程序的重要环节,了解函数的执行时间分布对于识别性能瓶颈至关重要,本文将分享一个C++函数执行时间统计工具,希望对大家有所帮助... 目录前言工具特性核心设计1. 数据结构设计2. 单例模式管理器3. RAII自动计时使用方法基本用法高级用法
阅读更多...
PHP应用中处理限流和API节流的最佳实践

PHP应用中处理限流和API节流的最佳实践

《PHP应用中处理限流和API节流的最佳实践》限流和API节流对于确保Web应用程序的可靠性、安全性和可扩展性至关重要,本文将详细介绍PHP应用中处理限流和API节流的最佳实践,下面就来和小编一起学习... 目录限流的重要性在 php 中实施限流的最佳实践使用集中式存储进行状态管理（如 Redis）采用滑动
阅读更多...
ShardingProxy读写分离之原理、配置与实践过程

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二
阅读更多...
深入浅出Spring中的@Autowired自动注入的工作原理及实践应用

深入浅出Spring中的@Autowired自动注入的工作原理及实践应用

《深入浅出Spring中的@Autowired自动注入的工作原理及实践应用》在Spring框架的学习旅程中,@Autowired无疑是一个高频出现却又让初学者头疼的注解,它看似简单,却蕴含着Sprin... 目录深入浅出Spring中的@Autowired：自动注入的奥秘什么是依赖注入？@Autowired
阅读更多...
MySQL分库分表的实践示例

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分
阅读更多...
从基础到高级详解Python数值格式化输出的完全指南

从基础到高级详解Python数值格式化输出的完全指南

《从基础到高级详解Python数值格式化输出的完全指南》在数据分析、金融计算和科学报告领域,数值格式化是提升可读性和专业性的关键技术,本文将深入解析Python中数值格式化输出的相关方法,感兴趣的小伙... 目录引言：数值格式化的核心价值一、基础格式化方法1.1 三种核心格式化方式对比1.2 基础格式化示例
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2