pyro.optim pyro ppl 概率编程 优化器 pytorch

2024-09-05 04:44
文章标签 优化 编程 pytorch 概率 optim ppl pyro

本文主要是介绍pyro.optim pyro ppl 概率编程 优化器 pytorch，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

最佳化¶

该模块pyro.optim为Pyro中的优化提供支持。特别是，它提供了焦光性，用于包装PyTorch优化器并管理动态生成参数的优化器(参见教程SVI第一部分供讨论)。任何自定义优化算法也可以在这里找到。

烟火优化器¶

is _调度程序(【计算机】优化程序)→ 弯曲件[来源]¶

帮助器方法，用于确定PyTorch对象是PyTorch优化器(返回false)还是包装在LRScheduler中的优化器ReduceLROnPlateau或子类_LRScheduler(返回真)。

班级焦光性(optim _构造函数: 联盟[请求即付的, torch . optim . optimizer . optimizer, 类型[torch . optim . optimizer . optimizer]], optim_args: 联盟[词典, 请求即付的[[...], 词典]], 剪辑_参数: 可选择的[联盟[词典, 请求即付的[[...], 词典]]] = 没有人)[来源]¶

碱基:object

torch.optim.Optimizer对象的包装器，有助于管理动态生成的参数。

因素

  • optim _构造函数–torch . optim . optimizer

  • optim_args–优化器的学习参数字典或返回此类字典的可调用程序

  • 剪辑_参数–clip _ norm和/或clip_value参数的字典或返回此类字典的callable

__呼叫_ _(参数: 联盟[目录, 值视图], *一个参数名, **夸尔斯)→ 没有人[来源]¶

因素

参数 (可重复的字符串)–参数列表

对params中的每个参数执行优化步骤。如果一个给定的参数以前从未出现过，为它初始化一个优化器。

获取状态()→ 词典[来源]¶

以带有键值对的字典的形式获得与所有优化器相关的状态(参数名，优化状态字典)

设置状态(状态_字典: 词典)→ 没有人[来源]¶

使用从以前对get_state()的调用中获得的状态，设置与所有优化器关联的状态

救援(文件名: 潜艇用热中子反应堆（submarine thermal reactor的缩写）)→ 没有人[来源]¶

因素

文件名 (潜艇用热中子反应堆（submarine thermal reactor的缩写）)–要保存到的文件名

将优化程序状态保存到磁盘

负荷(文件名: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 地图_位置=没有人)→ 没有人[来源]¶

因素

  • 文件名 (潜艇用热中子反应堆（submarine thermal reactor的缩写）)–从中加载的文件名

  • 地图_位置 (功能, 手电筒.设备, 线或者格言)–torch . load()map _ location参数

从磁盘加载优化程序状态

AdagradRMSProp(optim_args: 词典)→ 派若姆，派若姆，派若姆[来源]¶

包装pyro.optim.adagrad_rmsprop.AdagradRMSProp随着PyroOptim.

克利佩达姆(optim_args: 词典)→ 派若姆，派若姆，派若姆[来源]¶

包装pyro.optim.clipped_adam.ClippedAdam随着PyroOptim.

DCTAdam(optim_args: 词典)→ 派若姆，派若姆，派若姆[来源]¶

包装pyro.optim.dct_adam.DCTAdam随着PyroOptim.

班级热解时间表(调度程序_构造函数, optim_args: 词典, 剪辑_参数: 可选择的[词典] = 没有人)[来源]¶

碱基:pyro.optim.optim.PyroOptim

的包装纸lr_scheduler对象，这些对象为动态生成的参数调整学习率。

因素

  • 调度程序_构造函数–答lr_scheduler

  • optim_args–优化器的学习参数字典或返回此类字典的可调用程序。必须包含具有pytorch优化器值的键“优化器”

  • 剪辑_参数–clip _ norm和/或clip_value参数的字典或返回此类字典的callable。

示例:

optimizer = torch.optim.SGD
scheduler = pyro.optim.ExponentialLR({'optimizer': optimizer, 'optim_args': {'lr': 0.01}, 'gamma': 0.1})
svi = SVI(model, guide, scheduler, loss=TraceGraph_ELBO())
for i in range(epochs):for minibatch in DataLoader(dataset, batch_size):svi.step(minibatch)scheduler.step()

__呼叫_ _(参数: 联盟[目录, 值视图], *一个参数名, **夸尔斯)→ 没有人[来源]¶

步骤(*一个参数名, **夸尔斯)→ 没有人[来源]¶

采用与PyTorch调度程序相同的参数(例如可选的loss为ReduceLROnPlateau)

班级AdagradRMSProp(参数, 希腊语字母的第七字: 漂浮物 = 1.0, 三角洲: 漂浮物 = 1e-16, t: 漂浮物 = 0.1)[来源]¶

碱基:torch.optim.optimizer.Optimizer

实现了Adagrad算法和RMSProp的混搭。关于精确的更新公式，参见参考文献[1]中的公式10和11。

参考文献:[1]《自动微分变分推理》，Alp Kucukelbir，Dustin Tran，Rajesh Ranganath，Andrew Gelman，David M. Blei URL:https://arxiv.org/abs/1603.00788[2]“讲座6.5 RmsProp:将梯度除以其最近大小的移动平均值”，Tieleman，t .和Hinton，g .，COURSERA:用于机器学习的神经网络。[3]“在线学习和随机优化的自适应次梯度方法”，杜奇，约翰，哈赞，E和辛格，y

参数:

因素

  • 参数–要优化的可迭代参数或定义参数组的字典

  • 希腊语字母的第七字 (漂浮物)–设置步长比例(可选；默认值:1.0)

  • t (漂浮物)–t，可选):动量参数(可选；默认值:0.1)

  • 三角洲 (漂浮物)–调制控制步长缩放方式的指数(可选:默认值:1e-16)

共享内存()→ 没有人[来源]¶

步骤(关闭: 可选择的[请求即付的] = 没有人)→ 可选择的[任何的][来源]¶

执行单个优化步骤。

因素

关闭–重新评估模型并返回损失的(可选)关闭。

班级克利佩达姆(参数, 实验室反应堆: 漂浮物 = 0.001, 贝塔: 元组 = (0.9, 0.999), 蓄电池: 漂浮物 = 1e-08, 重量衰减=0, 剪辑_规范: 漂浮物 = 10.0, 亲属活供体(living related donor): 漂浮物 = 1.0)[来源]¶

碱基:torch.optim.optimizer.Optimizer

因素

  • 参数–要优化的可迭代参数或定义参数组的字典

  • 实验室反应堆–学习率(默认值:1e-3)

  • 贝塔 (元组)–用于计算梯度及其平方的移动平均值的系数(默认值:(0.9，0.999))

  • 蓄电池–添加到分母中以提高数值稳定性的术语(默认值:1e-8)

  • 重量衰减–重量衰减(L2惩罚)(默认值:0)

  • 剪辑_规范–渐变裁剪到的范数的大小(默认值:10.0)

  • 亲属活供体(living related donor)–学习率衰减的速率(默认值:1.0)

对torch.optim.Adam中实现的Adam算法进行了小的修改，以包括梯度裁剪和学习率衰减。

参考

随机优化的一种方法、迪德里克·金马、吉米·巴https://arxiv.org/abs/1412.6980

步骤(关闭: 可选择的[请求即付的] = 没有人)→ 可选择的[任何的][来源]¶

因素

关闭–重新评估模型并返回损失的可选关闭。

执行单个优化步骤。

班级HorovodOptimizer(焦光学: 派若姆，派若姆，派若姆, **霍罗沃德夸尔斯)[来源]¶

碱基:pyro.optim.optim.PyroOptim

的分布式包装PyroOptim优化器。

该类包装了一个PyroOptim对象类似的方式horovod.torch.DistributedOptimizer()包装atorch.optim.Optimizer.

注意

这需要horovod.torch待安装，例如通过pip install pyro[horovod]。详情请见https://horovod.readthedocs.io/en/stable/install.html

参数

Pyro优化器实例。

因素

* *霍罗沃德_夸尔格斯–传递给的额外参数horovod.torch.DistributedOptimizer().

__呼叫_ _(参数: 联盟[目录, 值视图], *一个参数名, **夸尔斯)→ 没有人[来源]¶

PyTorch优化器¶

阿达德尔塔(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.Adadelta随着PyroOptim.

阿达格拉德(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.Adagrad随着PyroOptim.

圣经》和《古兰经》传统中）亚当（人类第一人的名字(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.Adam随着PyroOptim.

阿达姆(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.AdamW随着PyroOptim.

SparseAdam(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.SparseAdam随着PyroOptim.

阿达马克斯(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.Adamax随着PyroOptim.

ASGD(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.ASGD随着PyroOptim.

签名于(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.SGD随着PyroOptim.

拉达姆(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.RAdam随着PyroOptim.

Rprop(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.Rprop随着PyroOptim.

RMSprop(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.RMSprop随着PyroOptim.

那达慕(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.NAdam随着PyroOptim.

LRScheduler(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.LRScheduler随着PyroLRScheduler.

兰姆达尔(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.LambdaLR随着PyroLRScheduler.

乘数l(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.MultiplicativeLR随着PyroLRScheduler.

StepLR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.StepLR随着PyroLRScheduler.

多步骤(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.MultiStepLR随着PyroLRScheduler.

ConstantLR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.ConstantLR随着PyroLRScheduler.

线性LR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.LinearLR随着PyroLRScheduler.

指数LR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.ExponentialLR随着PyroLRScheduler.

序列LR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.SequentialLR随着PyroLRScheduler.

多项式lLR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.PolynomialLR随着PyroLRScheduler.

CosineAnnealingLR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.CosineAnnealingLR随着PyroLRScheduler.

链式调度程序(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.ChainedScheduler随着PyroLRScheduler.

ReduceLROnPlateau(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.ReduceLROnPlateau随着PyroLRScheduler.

CyclicLR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.CyclicLR随着PyroLRScheduler.

CosineAnnealingWarmRestarts(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.CosineAnnealingWarmRestarts随着PyroLRScheduler.

OneCycleLR(optim_args, 剪辑_参数=没有人)¶

包装torch.optim.OneCycleLR随着PyroLRScheduler.

高阶优化器¶

班级多重优化器[来源]¶

碱基:object

利用高阶导数的优化器的基类。

高阶优化器通常使用torch.autograd.grad()而不是torch.Tensor.backward()，因此需要一个与通常的Pyro和PyTorch优化器不同的接口。在此界面中step()方法输入aloss张量进行微分，并且反向传播在优化器内部被触发一次或多次。

派生类必须实现step()计算导数并就地更新参数。

示例:

tr = poutine.trace(model).get_trace(*args, **kwargs)
loss = -tr.log_prob_sum()
params = {name: site['value'].unconstrained()for name, site in tr.nodes.items()if site['type'] == 'param'}
optim.step(loss, params)

步骤(失败: 火炬。张量, 参数: 词典)→ 没有人[来源]¶

对给定的可微分参数执行就地优化步骤loss张量。

请注意，这将分离更新的张量。

因素

  • 失败 (火炬。张量)–一个要最小化的可微张量。一些优化器要求它可以多次微分。

  • 参数 (词典)–将参数名称映射到存储在参数存储中的无约束值的字典。

获取_步骤(失败: 火炬。张量, 参数: 词典)→ 词典[来源]¶

给定一个微分，计算参数的优化步骤loss张量，返回更新后的值。

注意，这保留了更新张量的导数。

因素

  • 失败 (火炬。张量)–一个要最小化的可微张量。一些优化器要求它可以多次微分。

  • 参数 (词典)–将参数名称映射到存储在参数存储中的无约束值的字典。

返回

将参数名映射到更新的无约束值的字典。

返回类型

词典

班级焦多优化器(使最优化: 派若姆，派若姆，派若姆)[来源]¶

碱基:pyro.optim.multi.MultiOptimizer

要包装的外观PyroOptim中的对象MultiOptimizer界面。

步骤(失败: 火炬。张量, 参数: 词典)→ 没有人[来源]¶

班级火炬多重优化器(optim _构造函数: torch . optim . optimizer . optimizer, optim_args: 词典)[来源]¶

碱基:pyro.optim.multi.PyroMultiOptimizer

要包装的外观Optimizer中的对象MultiOptimizer界面。

班级MixedMultiOptimizer(部件: 目录)[来源]¶

碱基:pyro.optim.multi.MultiOptimizer

容器类来组合不同的MultiOptimizer不同参数的实例。

因素

部件 (目录)–一个列表(names, optim)成对，其中每个names是参数名列表，每个optim是一个MultiOptimizer或者PyroOptim用于命名参数的。一起names应该划分所有期望的参数以进行优化。

举起

值错误–如果任何名称被多个优化器优化。

步骤(失败: 火炬。张量, 参数: 词典)[来源]¶

获取_步骤(失败: 火炬。张量, 参数: 词典)→ 词典[来源]¶

班级牛顿(信任半径: 词典 = {})[来源]¶

碱基:pyro.optim.multi.MultiOptimizer

实施MultiOptimizer它对成批的低维变量执行牛顿更新，可选地通过每个参数进行正则化trust_radius。看见newton_step()详情请见。

的结果get_step()将是可微分的，但是来自step()会超脱。

因素

信任半径 (词典)–将参数名称映射到信任区域半径的字典。缺失名称将使用非正则化牛顿更新，相当于无限信任半径。

获取_步骤(失败: 火炬。张量, 参数: 词典)[来源]¶

以前的然后

这篇关于pyro.optim pyro ppl 概率编程 优化器 pytorch的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1137980。

相关文章

MySQL深分页进行性能优化的常见方法

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页（deeppagination）却成为了性能优化的一个挑战,在本文中,我们将... 目录引言：深分页，真的只是“翻页慢”那么简单吗？一、背景介绍二、深分页的性能问题三、业务场景分析四、
阅读更多...
Linux进程CPU绑定优化与实践过程

Linux进程CPU绑定优化与实践过程

《Linux进程CPU绑定优化与实践过程》Linux支持进程绑定至特定CPU核心,通过sched_setaffinity系统调用和taskset工具实现,优化缓存效率与上下文切换,提升多核计算性能,适... 目录1. 多核处理器及并行计算概念1.1 多核处理器架构概述1.2 并行计算的含义及重要性1.3 并
阅读更多...
Go语言数据库编程GORM 的基本使用详解

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁
阅读更多...
MyBatisPlus如何优化千万级数据的CRUD

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查
阅读更多...
Pytorch介绍与安装过程

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优
阅读更多...
conda安装GPU版pytorch默认却是cpu版本

conda安装GPU版pytorch默认却是cpu版本

《conda安装GPU版pytorch默认却是cpu版本》本文主要介绍了遇到Conda安装PyTorchGPU版本却默认安装CPU的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录一、问题描述二、网上解决方案罗列【此节为反面方案罗列！！！】三、发现的根本原因[独家]3.1 p
阅读更多...
PyTorch中cdist和sum函数使用示例详解

PyTorch中cdist和sum函数使用示例详解

《PyTorch中cdist和sum函数使用示例详解》torch.cdist是PyTorch中用于计算**两个张量之间的成对距离（pairwisedistance）**的函数,常用于点云处理、图神经网... 目录基本语法输出示例1. 简单的 2D 欧几里得距离2. 批量形式（3D Tensor）3. 使用不
阅读更多...
SpringBoot中HTTP连接池的配置与优化

SpringBoot中HTTP连接池的配置与优化

《SpringBoot中HTTP连接池的配置与优化》这篇文章主要为大家详细介绍了SpringBoot中HTTP连接池的配置与优化的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、HTTP连接池的核心价值二、Spring Boot集成方案方案1：Apache HttpCl
阅读更多...
PyTorch高级特性与性能优化方式

PyTorch高级特性与性能优化方式

《PyTorch高级特性与性能优化方式》：本文主要介绍PyTorch高级特性与性能优化方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、自动化机制1.自动微分机制2.动态计算图二、性能优化1.内存管理2.GPU加速3.多GPU训练三、分布式训练1.分布式数据
阅读更多...
MySQL中like模糊查询的优化方案

MySQL中like模糊查询的优化方案

《MySQL中like模糊查询的优化方案》在MySQL中,like模糊查询是一种常用的查询方式,但在某些情况下可能会导致性能问题,本文将介绍八种优化MySQL中like模糊查询的方法,需要的朋友可以参... 目录1. 避免以通配符开头的查询2. 使用全文索引（Full-text Index）3. 使用前缀索
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2