SPU赋能PSI：探秘隐私集合求交核心技术与高级调度架构实践

2024-03-28 03:20
文章标签 实践 赋能 架构 高级 集合 调度 隐私 核心技术 探秘 求交 psi spu

本文主要是介绍SPU赋能PSI：探秘隐私集合求交核心技术与高级调度架构实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.SPU实现的PSI介绍

1.PSI的定义和种类

隐私集合求交（Private Set Intersection, PSI）是一种在密码学和安全多方计算（MPC）领域中的关键技术，允许两个或多个参与者在不泄露各自输入集合中非交集部分的前提下，找出他们所拥有的共同元素。隐语在 PSI 技术方面提供了相关的解决方案。

根据不同的实现机制和技术原理，PSI 可以分为以下几种类型：

  1. 基于公钥密码学的 PSI 方案：

    • 基于判定型Diffie-Hellman (DDH)：利用 DDH 难题设计的 PSI 协议，允许在不暴露额外信息的情况下计算集合交集。
    • 基于RSA盲签名：通过 RSA 密码系统和盲签名技术实现集合求交，保证数据隐私性。

  2. 基于不经意传输 (Oblivious Transfer, OT)：OT 是构建 PSI 的基础组件之一，通过 OT 实现让一方能够得知某些信息而无法获知其他无关信息，从而实现在不知情的情况下完成集合求交操作。

  3. 基于通用MPC的PSI方案：

    • 基于混淆电路 (Garbled Circuit, GC)：使用混淆电路技术，将逻辑运算转化为加密形式，使得计算过程能够在不解密数据的情况下得出交集结果。

  4. 基于同态加密 (Homomorphic Encryption, HE)：通过支持某种数学运算的同态加密算法，可以在加密数据上直接执行计算，解密后得到交集结果，而无需在明文状态下交互数据。

此外，按照参与方的数量，PSI 还可以分类为：

  • 两方PSI：仅涉及两个参与方之间的集合求交。
  • 多方PSI：涉及三个或更多参与方之间的集合求交。

隐语还提到了对 PSI 协议的进一步细分，比如：

  • 平衡PSI (Balanced PSI)：适合双方数据量相差不大的场景，如 ecdh/kkrt16/bc22 协议。
  • 非平衡隐私集合求交 (Unbalanced PSI)：针对双方数据规模差异较大的情况设计的专门协议，能够有效处理数据量不对称时的效率问题。
    在这里插入图片描述

2.PSI功能分层

隐私集合求交（Private Set Intersection, PSI）作为一种密码学技术，虽然本身不严格划分成多层架构，但在其实现过程中确实可以抽象出不同层次的功能模块来描述其工作流程和安全性保证。以下是按照逻辑层次对PSI功能的一种概括分层：

  1. 用户接口层：
    这一层主要是对最终用户或者应用程序提供接口，让用户能够方便地提交待求交的私有数据集合，并获取求交结果。这一层通常会对原始数据进行预处理和格式转换，以便适应底层 PSI 协议的要求。

  2. 数据加密层：
    在这一层，用户提交的原始数据被转化为加密形式，这是 PSI 安全性的关键步骤。可以采用多种加密技术，如同态加密、不经意传输（OT）、基于身份的加密（IBE）、或是基于零知识证明（ZKP）等方法，确保数据在传输和计算过程中始终保持加密状态。

  3. 协议层：
    协议层具体实现 PSI 的核心算法和通信流程，例如基于哈希的 PSI、基于加法同态加密的 PSI 或基于 oblivious transfer 的 PSI。此层的设计要确保即使在多方参与的情况下，除了交集部分外，任何一方都无法得知对方集合的具体内容。

  4. 通信层：
    负责执行协议层所需的网络通信任务，包括但不限于数据交换、消息同步和错误恢复等。这一层确保了 PSI 协议能在分布式环境下正确执行。

  5. 计算层：
    包括对加密数据进行高效计算的方法，如基于半同态加密的计算、基于 garbled circuit 的计算等，用于在不解密情况下直接在加密数据上进行交集操作。

  6. 结果解密与验证层：
    在完成交集计算后，这一层负责对加密的结果进行解密，并可能包含对结果的完整性或正确性验证机制，确保输出的交集确实是各个参与方私有集合的真实交集。
    在这里插入图片描述

3.SPU实现的PSI种类

SPU（Secure Process Unit）作为一个专注于隐私计算和安全多方计算（MPC）的模块或框架，在实现 PSI（Private Set Intersection，隐私集合求交）功能时，支持多种协议和算法。以下是一些SPU实现的PSI种类：

  1. 基于DDH（Decisional Diffie-Hellman）的PSI协议：
    SPU实现了基于DDH难题的PSI协议，这是一种经典的密码学协议，允许两方在不知道对方完整集合内容的情况下，仅计算出各自的交集部分。

  2. KKRT协议：
    KKRT是一种高效的多方PSI协议，SPU提供了KKRT协议的实现，它适用于多方之间进行隐私集合求交的操作。

  3. 基于BC22PCG的协议：
    BC22PCG可能是另一种具体的PSI协议变体，但确切含义未在已有资料中详细说明，推测可能是针对特定应用场景优化过的PSI协议。

除此之外，SPU可能还支持其他的PSI变种，比如针对数据量不平衡情况的非平衡PSI协议（Unbalanced PSI），以及可能结合其他密码学工具如同态加密（HE）或不经意传输（Oblivious Transfer, OT）技术实现的更复杂版本的PSI协议。

总之，SPU旨在通过提供丰富的PSI协议选择和优化实现，以满足不同场景下对于数据隐私保护和性能需求的多样化要求。
在这里插入图片描述

2.SPU PSI调度架构

SPU PSI 调用框架是一种用于处理大规模数据集的隐私计算技术。该框架主要由以下几个部分组成：

  1. 统一入口：用户可以通过 bucket_psi 函数进入系统，这是高级API的一个入口点。
  2. 支持分桶求交：为了处理大量数据，SPU PSI 使用了分桶策略。这使得系统能够处理高达10亿规模的数据集。
  3. 输入输出处理：在数据处理过程中，系统会检查求交id列的数据完整性，并确保没有重复项。这些操作有助于保证数据质量。
  4. 输出处理：最后，系统会对求交结果进行排序，并生成完整的label列，以便于后续分析或应用。

在具体实现上，SPU PSI 调用框架包含两个关键的API：

  • bucket_psi: 这个高级API通过Hash分桶方法支持海量数据，并涵盖了数据查重、分桶求交、结果广播及结果排序等全生产流程。
  • mem_psi: 与 bucket_psi 不同，mem_psi 是一个低级API，它提供了算法内核的高性能，并且具有统一易用的接口。

此外，Operator 层起到了重要的作用：

  • 它作为算法接入层，向上提供统一接口，方便用户使用。
  • 工程化封装提高了系统的可维护性和扩展性。
  • 注册工厂模式的应用提升了协议工程化的效率，使系统更加灵活和高效。

在这里插入图片描述

总的来说，SPU PSI 调用框架提供了一个全面、系统的方法来处理大规模数据集中的隐私计算问题，从而满足现代数据安全和隐私保护的需求。

3.PSI开发指南

1.启动Ray集群

启动ray集群的方法有两种，一种是Alice首先启动ray集群，另一种是Bob首先启动ray集群。以下是两种方法的具体步骤：

  1. Alice首先启动ray集群:

    • 注意这里的命令是启动Ray的主节点。
    • 输入以下命令来启动ray集群:
      ray start --head --node-ip-address="ip" --port="port" --include-dashboard=False --disable-usage-stats
    • 其中，“ip”是要分配给主节点的IP地址，“port”是主节点要监听的端口。

  2. Bob首先启动ray集群:

    • 输入以下命令来启动ray集群:
      ray start --head --node-ip-address="ip" --port="port" --include-dashboard=False --disable-usage-stats
    • 同样，这里“ip”是要分配给主节点的IP地址，“port”是主节点要监听的端口。

注意，每个节点都需要知道其他节点的IP地址和端口号，以便它们可以相互通信。当所有节点都启动后，它们就组成了一个ray集群，可以在其中运行分布式任务和actor。

2.初始化SecretFlow

初始化 SecretFlow 的步骤如下所示：

  1. 创建一个名为 sf_cluster_config 的字典对象，用于配置 SecretFlow 的集群设置。在这个字典中，你需要定义参与方的信息。例如，对于参与者 “alice” 和 “bob”，你可以这样设置：
sf_cluster_config = {'parties': {'alice': {# 替换为 Alice 实际的地址信息'address': 'ip:port of alice','listen_addr': '0.0.0.0:port'},'bob': {# 替换为 Bob 实际的地址信息'address': 'ip:port of bob','listen_addr': '0.0.0.0:port'}},'self_party': 'bob'  # 设置当前参与方的身份，这里是 'bob'
}

请注意，需要替换实际的 IP 地址和端口号。
2. 创建一个名为 tls_config 的字典对象，用于配置 TLS/SSL 加密通信。在这个字典中，你需要指定 CA 根证书、服务器证书和私钥文件路径。例如：

tls_config = {'ca_cert': 'ca root cert of other parties',  # 替换为实际的 CA 根证书路径'cert': 'server cert of alice in pem',  # 替换为实际的服务器证书路径'key': 'server key of alice in pem'  # 替换为实际的服务器私钥路径
}

请注意，如果你是 Alice，则需要使用 Alice 的证书和私钥；如果你是 Bob，则需要使用 Bob 的证书和私钥。
3. 使用 SecretFlow 库的 init() 方法来初始化 SecretFlow。你需要提供 Ray 集群头节点的地址和上面创建的 cluster_config 和 tls_config 对象。例如，如果当前参与方是 Bob，则可以这样做：

import secretflow as sf# 初始化 SecretFlow
sf.init(address='bob ray head node address', cluster_config=sf_cluster_config, tls_config=tls_config)

请将 “bob ray head node address” 替换为 Bob 的 Ray 头节点的实际地址。

同样地，如果当前参与方是 Alice，则应该将 “bob ray head node address” 替换为 Alice 的 Ray 头节点的实际地址。

3.启动SPU设备

  1. 定义一个名为 spu_cluster_def 的字典对象，用于描述 SPU 节点的配置。这个字典应包含一个名为 nodes 的列表，其中包含了所有参与 SPU 计算的节点信息。例如：
spu_cluster_def = {'nodes': [{'party': 'alice', 'address': '192.168.0.1:12945', 'listen_address': '0.0.0.0:12945'}, {'party': 'bob', 'address': '192.168.0.2:12946', 'listen_address': '0.0.0.0:12946'}],'runtime_config': {'protocol': spu.spu_pb2.SEMI2K,'field': spu.spu_pb2.FM128,}
}

在此示例中，有两个节点分别属于 Alice 和 Bob。你需要将 address 和 listen_address 替换成每个节点的实际 IP 地址和端口号。

  1. 使用 SecretFlow 框架中的 sf.SPU() 函数来启动 SPU 设备。你需要将前面定义的 spu_cluster_def 字典传递给这个函数，如下所示：
spu = sf.SPU(spu_cluster_def)

这将在每个节点上启动 SPU 设备，并准备执行相应的计算任务。

需要注意的是，在实际使用时，你可能需要根据你的硬件环境和网络条件调整 address 和 listen_address 的值，以确保它们指向正确的 IP 地址和可用的端口号。同时，protocol 和 field 参数也需要根据你的特定需求进行选择和配置。

4.执行PSI并获取结果

1.使用 spu.psi_csv() 方法执行 PSI 协议

# 参数包括：
select_keys: # 需要选择的键列表。
input_path:  # 输入数据的路径。
output_path: # 输出数据的路径。
receiver: # 接收输出文件的一方。
protocol: # PSI 协议类型，如 'ECDF_PSI_2PC' 或 'BC22_PSI_2PC'.
curve_type: # 曲线类型，如 'CURVE_25519'.

2.接收 PSI 结果
spu.psi_csv() 方法返回一个 reports 对象，它包含有关输入数据量总数和交集数量的信息。
可以通过 reports[‘original_count’] 和 reports[‘intersection_count’] 来获取这些信息。

输出文件的路径也可以通过 reports[‘output_path’] 获取。
3.获取交集结果
根据指定的接收者 (receiver)，可以在对应的输出文件路径中找到交集结果。
例如，如果 receiver=‘alice’，则交集结果保存在 ‘data/psi_output.csv’ 中；如果 receiver=‘bob’，则保存在 ‘data/psi_output_bob.csv’’ 中。
通过执行 PSI，我们可以得到两个数据集之间的交集，同时保持数据的私有性。这使得两个组织能够在不泄露各自原始数据的情况下，发现共同感兴趣的项目或客户。这种技术对于合作分析、市场营销、风险评估等领域具有重要的应用价值。
在这里插入图片描述

这篇关于SPU赋能PSI：探秘隐私集合求交核心技术与高级调度架构实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/854307。

相关文章

C++中unordered_set哈希集合的实现

C++中unordered_set哈希集合的实现

《C++中unordered_set哈希集合的实现》std::unordered_set是C++标准库中的无序关联容器,基于哈希表实现,具有元素唯一性和无序性特点,本文就来详细的介绍一下unorder... 目录一、概述二、头文件与命名空间三、常用方法与示例1. 构造与析构2. 迭代器与遍历3. 容量相关4
阅读更多...
JDK21对虚拟线程的几种用法实践指南

JDK21对虚拟线程的几种用法实践指南

《JDK21对虚拟线程的几种用法实践指南》虚拟线程是Java中的一种轻量级线程,由JVM管理,特别适合于I/O密集型任务,：本文主要介绍JDK21对虚拟线程的几种用法,文中通过代码介绍的非常详细,... 目录一、参考官方文档二、什么是虚拟线程三、几种用法1、Thread.ofVirtual().start(
阅读更多...
从基础到高级详解Go语言中错误处理的实践指南

从基础到高级详解Go语言中错误处理的实践指南

《从基础到高级详解Go语言中错误处理的实践指南》Go语言采用了一种独特而明确的错误处理哲学,与其他主流编程语言形成鲜明对比,本文将为大家详细介绍Go语言中错误处理详细方法,希望对大家有所帮助... 目录1 Go 错误处理哲学与核心机制1.1 错误接口设计1.2 错误与异常的区别2 错误创建与检查2.1 基础
阅读更多...
Redis中的有序集合zset从使用到原理分析

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇：排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse
阅读更多...
Java集合之Iterator迭代器实现代码解析

Java集合之Iterator迭代器实现代码解析

《Java集合之Iterator迭代器实现代码解析》迭代器Iterator是Java集合框架中的一个核心接口,位于java.util包下,它定义了一种标准的元素访问机制,为各种集合类型提供了一种统一的... 目录一、什么是Iterator二、Iterator的核心方法三、基本使用示例四、Iterator的工
阅读更多...
springboot依靠security实现digest认证的实践

springboot依靠security实现digest认证的实践

《springboot依靠security实现digest认证的实践》HTTP摘要认证通过加密参数（如nonce、response）验证身份,避免明文传输,但存在密码存储风险,相比基本认证更安全,却因... 目录概述参数Demopom.XML依赖Digest1Application.JavaMyPasswo
阅读更多...
Spring Boot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)

Spring Boot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)

《SpringBoot分层架构详解之从Controller到Service再到Mapper的完整流程(用户管理系统为例)》本文将以一个实际案例（用户管理系统）为例,详细解析SpringBoot中Co... 目录引言：为什么学习Spring Boot分层架构？第一部分：Spring Boot的整体架构1.1
阅读更多...
分析 Java Stream 的 peek使用实践与副作用处理方案

分析 Java Stream 的 peek使用实践与副作用处理方案

《分析JavaStream的peek使用实践与副作用处理方案》StreamAPI的peek操作是中间操作,用于观察元素但不终止流,其副作用风险包括线程安全、顺序混乱及性能问题,合理使用场景有限... 目录一、peek 操作的本质：有状态的中间操作二、副作用的定义与风险场景1. 并行流下的线程安全问题2. 顺
阅读更多...
Java JUC并发集合详解之线程安全容器完全攻略

Java JUC并发集合详解之线程安全容器完全攻略

《JavaJUC并发集合详解之线程安全容器完全攻略》Java通过java.util.concurrent（JUC）包提供了一整套线程安全的并发容器,它们不仅是简单的同步包装,更是基于精妙并发算法构建... 目录一、为什么需要JUC并发集合？二、核心并发集合分类与详解三、选型指南：如何选择合适的并发容器？在多
阅读更多...
Java 结构化并发Structured Concurrency实践举例

Java 结构化并发Structured Concurrency实践举例

《Java结构化并发StructuredConcurrency实践举例》Java21结构化并发通过作用域和任务句柄统一管理并发生命周期,解决线程泄漏与任务追踪问题,提升代码安全性和可观测性,其核心... 目录一、结构化并发的核心概念与设计目标二、结构化并发的核心组件（一）作用域（Scopes）（二）任务句柄
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2