联邦学习中的非独立同分布Non-IID

2024-06-09 17:20
文章标签 分布 学习 独立 non 联邦 iid

本文主要是介绍联邦学习中的非独立同分布Non-IID,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在联邦学习Federated Learning中,出现的很高频的一个词就是Non-IID,翻译过来就是非独立同分布,这是一个来自于概率论与数理统计中的概念,下面我来简单介绍一下在Federated Learning中IID和Non-IID的概念。

何为IID(独立同分布)

IID是数据独立同分布(Independent Identically Distribution,IID),它是指一组随机变量中每个变量的概率分布是相同的,且这些随机变量互相独立。下面介绍IID中的“独立”和“同分布”这两个概念:

  • 独立性:采样样本之间相互独立,互不影响。用数学公式表达:如果随机变量X和Y独立,那么它们的联合概率分布可以分解为 P ( X , Y ) = P ( X ) ∗ P ( Y ) P(X,Y)=P(X)*P(Y) P(X,Y)=P(X)P(Y)

例如抛骰子,我抛两次,上一次抛的结果并不会影响到下一次的结果,这两次采样样本之间就是独立的。但是假如说我想要两次结果之和大于8,那么这时候两次抛就不独立了。

  • 同分布:所有采样样本均来自同一个分布。

还是抛骰子,每次采样的样本都来自于同一个分布,即每次抛都会随机得到一个1~6的点数,每个点数的概率为1/6。

现在很多机器学习中的方法都是基于数据IID的假设,这是一种理想情况,因为在现实中往往是Non-IID的

何为Non-IID(非独立同分布)

首先要明确一个概念,Non-IID是非·独立同分布,解释来说就是,Non-IID可以分为三类:非独立但同分布、独立但非同分布、非独立也非同分布。上述的任何一种我们都可以称之为Non-IID。

  • 非独立:两个或多个随机变量之间存在一定程度的关联,一个随机变量的值可能受到其他随机变量的影响。

比如要求两次抛骰子结果之和大于8、不放回地摸黑球白球。

  • 非同分布:样本并不是从同一个分布中采样得到的。

来自不同的分布,一个样本我从抛骰子中获取16,另一个样本我从扑克中抽AK。

联邦学习中的Non-IID

在机器学习中,有特征Features标签Labels这两个概念。由这两个概念,我们就能引申出FL中的5种Non-IID情况:

  1. Feature Distribution Skew 特征分布偏差
  2. Label Distribution Skew 标签分布偏差
  3. Same Label,different features 相同标签,不同特征
  4. Same Feature,different labels 相同特征,不同标签
  5. Quantity skew or unbalancedness 数量倾斜或不平衡

在FL中,数据是存储在不同的设备上的,而各个设备可能采集不同类型的数据、数据量不同、数据质量不同、数据采集的时间和地点也不同,因此不同设备之间的数据可能是非独立或非同分布的。
由于数据Non-IID,在联邦学习模型训练时,可能会受到的影响:

  1. 模型收敛困难:当各设备的本地数据分布不同或数据质量差异较大时,全局模型收敛会受到影响,因为不同设备间的本地模型更新合并起来不太容易。
  2. 性能不稳定:由于数据Non-IID,全局模型可能在某些设备上表现良好,而在另一些设备上表现很差。

在FL中,Non-IID通常伴随着异构性Heterogeneity一起出现。我们通常认为,Non-IID是异构性Heterogeneity的一种表现,而异构性Heterogeneity在概念上更为广泛。
在FL中,异构性Heterogeneity一般分为三种:

  1. 设备异构性:不同的设备有不同的硬件性能,如cpu、gpu、内存等,导致计算能力不同。此外网速和稳定性方面也各有不同;
  2. 统计异构性:设备的数据可能来自于不同的数据源、采集方式、时间段、环境等,导致数据的统计性质存在差异;
  3. 数据异构性:设备的数据可能是不同的类型(文本/图像/音频等);

这篇关于联邦学习中的非独立同分布Non-IID的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1045813

相关文章

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06