深度学习必懂的 13 种概率分布(附链接)

2024-04-13 22:48

本文主要是介绍深度学习必懂的 13 种概率分布(附链接),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

来源:AI开发者

本文约为1400字,建议阅读5分钟

本文为你介绍基本概率分布教程,大多数和使用 python 库进行深度学习有关。


概率分布概述

  • 共轭意味着它有共轭分布的关系。

在贝叶斯概率论中,如果后验分布 p(θx)与先验概率分布 p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭先验维基百科在这里(https://en.wikipedia.org/wiki/Conjugate_prior)。

  • 多分类表示随机方差大于 2。

  • n 次意味着我们也考虑了先验概率 p(x)。

  • 为了进一步了解概率,我建议阅读 (pattern recognition and machine learning,Bishop 2006)。

分布概率与特征

1.均匀分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

均匀分布在 [a,b] 上具有相同的概率值,是简单概率分布。

2.伯努利分布(离散)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py 

  • 先验概率 p(x)不考虑伯努利分布。因此,如果我们对最大似然进行优化,那么我们很容易被过度拟合。

  • 利用二元交叉熵对二项分类进行分类。它的形式与伯努利分布的负对数相同。

3.二项分布(离散)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py 

  • 参数为 n 和 p 的二项分布是一系列 n 个独立实验中成功次数的离散概率分布。

  • 二项式分布是指通过指定要提前挑选的数量而考虑先验概率的分布。

4.多伯努利分布,分类分布(离散)

代码:

https://github.com/graykode/distribution-is-all-youneed/blob/master/categorical.py 

  • 多伯努利称为分类分布。

  • 交叉熵和采取负对数的多伯努利分布具有相同的形式。

5.多项式分布(离散)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py 

多项式分布与分类分布的关系与伯努尔分布与二项分布的关系相同。

6.β分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py 

  • β分布与二项分布和伯努利分布共轭。

  • 利用共轭,利用已知的先验分布可以更容易地得到后验分布。

  • 当β分布满足特殊情况(α=1,β=1)时,均匀分布是相同的。

7.Dirichlet 分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py 

  • dirichlet 分布与多项式分布是共轭的。

  • 如果 k=2,则为β分布。

8.伽马分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py 

  • 如果 gamma(a,1)/gamma(a,1)+gamma(b,1)与 beta(a,b)相同,则 gamma 分布为β分布。

  • 指数分布和卡方分布是伽马分布的特例。

9.指数分布(连续)

代码:

https://github.com/graykode/distribution-is-all-youneed/blob/master/exponential.py 

指数分布是 α 为 1 时 γ 分布的特例。

10.高斯分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py 

高斯分布是一种非常常见的连续概率分布。

11.正态分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py 

正态分布为标准高斯分布,平均值为 0,标准差为 1。

12.卡方分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py 

  • k 自由度的卡方分布是 k 个独立标准正态随机变量的平方和的分布。

  • 卡方分布是 β 分布的特例

13.t 分布(连续)

代码:

https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py 

t 分布是对称的钟形分布,与正态分布类似,但尾部较重,这意味着它更容易产生远低于平均值的值。

via:https://github.com/graykode/distribution-is-all-you-need

编辑:于腾凯

校对:洪舒越

这篇关于深度学习必懂的 13 种概率分布(附链接)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/901434

相关文章

深度解析Python中递归下降解析器的原理与实现

《深度解析Python中递归下降解析器的原理与实现》在编译器设计、配置文件处理和数据转换领域,递归下降解析器是最常用且最直观的解析技术,本文将详细介绍递归下降解析器的原理与实现,感兴趣的小伙伴可以跟随... 目录引言:解析器的核心价值一、递归下降解析器基础1.1 核心概念解析1.2 基本架构二、简单算术表达

深度解析Java @Serial 注解及常见错误案例

《深度解析Java@Serial注解及常见错误案例》Java14引入@Serial注解,用于编译时校验序列化成员,替代传统方式解决运行时错误,适用于Serializable类的方法/字段,需注意签... 目录Java @Serial 注解深度解析1. 注解本质2. 核心作用(1) 主要用途(2) 适用位置3

Debian 13升级后网络转发等功能异常怎么办? 并非错误而是管理机制变更

《Debian13升级后网络转发等功能异常怎么办?并非错误而是管理机制变更》很多朋友反馈,更新到Debian13后网络转发等功能异常,这并非BUG而是Debian13Trixie调整... 日前 Debian 13 Trixie 发布后已经有众多网友升级到新版本,只不过升级后发现某些功能存在异常,例如网络转

Java MCP 的鉴权深度解析

《JavaMCP的鉴权深度解析》文章介绍JavaMCP鉴权的实现方式,指出客户端可通过queryString、header或env传递鉴权信息,服务器端支持工具单独鉴权、过滤器集中鉴权及启动时鉴权... 目录一、MCP Client 侧(负责传递,比较简单)(1)常见的 mcpServers json 配置

Maven中生命周期深度解析与实战指南

《Maven中生命周期深度解析与实战指南》这篇文章主要为大家详细介绍了Maven生命周期实战指南,包含核心概念、阶段详解、SpringBoot特化场景及企业级实践建议,希望对大家有一定的帮助... 目录一、Maven 生命周期哲学二、default生命周期核心阶段详解(高频使用)三、clean生命周期核心阶

深度剖析SpringBoot日志性能提升的原因与解决

《深度剖析SpringBoot日志性能提升的原因与解决》日志记录本该是辅助工具,却为何成了性能瓶颈,SpringBoot如何用代码彻底破解日志导致的高延迟问题,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言第一章:日志性能陷阱的底层原理1.1 日志级别的“双刃剑”效应1.2 同步日志的“吞吐量杀手”

Unity新手入门学习殿堂级知识详细讲解(图文)

《Unity新手入门学习殿堂级知识详细讲解(图文)》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程

深度解析Python yfinance的核心功能和高级用法

《深度解析Pythonyfinance的核心功能和高级用法》yfinance是一个功能强大且易于使用的Python库,用于从YahooFinance获取金融数据,本教程将深入探讨yfinance的核... 目录yfinance 深度解析教程 (python)1. 简介与安装1.1 什么是 yfinance?

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.

深度解析Spring Security 中的 SecurityFilterChain核心功能

《深度解析SpringSecurity中的SecurityFilterChain核心功能》SecurityFilterChain通过组件化配置、类型安全路径匹配、多链协同三大特性,重构了Spri... 目录Spring Security 中的SecurityFilterChain深度解析一、Security