PNAS论文和算法解析

2023-10-31 20:38
文章标签 算法 解析 论文 pnas

本文主要是介绍PNAS论文和算法解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

PNAS,论文的全名是Progressive Neural Architecture Search。这篇论文也是由谷歌团队Chenxi Liu和Zoph等人发表出来的,里面的很多思路承袭了NASNet的设计原则。本论文最大的特点是采用了SMBO(Sequential Model-based Optimization)的方法来训练Predictor(结构和controller RNN相似)。

PNAS的基本设计思想是:

  1. Cell和Block的设计原则(与NASNet一样),不区分Normal和Reduction;
  2. 将Block的备选operation减少到8个
  3. Predictor可以通过loss的SGD来优化参数
  4. Block由少到多,逐步搜索Cell结构

PNAS只搜索一种Cell,而且作者从NASNet里面发现Block的好几种操作在最后的结果都没用到,所以在operation的搜索空间候选上减少到8个。

在搜索算法上,作者也做了一些改进。采用渐进式叠加搜索,即一开始只搜索一个Block,用数据集进行训练和验证,后面再逐渐增加Block进行新一轮的搜索和训练。具体的搜索算法如下图所示。
在这里插入图片描述
图1. PNAS搜索算法流程

PNAS的SMBO搜索算法步骤:

  1. 产生只有一个Block的所有可能性的Cell,再按照NASNet的规则来搭建网络模型;
  2. 训练这一组网络模型,得到它们的精度,利用这些精度值去训练Predictor;
  3. 接下来是循环的步骤。每次循环增加一个Block,和之前选择的Block构成所有可能的子网络;
  4. 用Predictor预测步骤3中所有子网络的精度,从中挑选K个最好的子网络去训练,得到它们的精度。
  5. 用这些精度再去更新Predictor,然后跳到步骤3,开始新一轮的循环,直到Block个数达到上限。

PNASNet的搜索过程如下图所示。从图中可以看出,一开始只搜索一个Block,然后加上第2个Block,通过Predictor选择最好的K个子集进行训练和验证,如此循环下去,每次增加一个Block只要训练K个子网络即可。
在这里插入图片描述
图2. PNASNet搜索过程

Predictor和NASNet中的controller RNN具有基本相同的结构,唯一不同的是在最后一个RNN隐藏层添加一个全连接和Sigmoid回归精度。在步骤2和5中的精度就是从验证集上获得的,在Sigmoid回归那边计算Loss,用于更新Predictor的参数。在步骤4中,每增加一个Block,就让Predictor多递归计算一轮,得到添加Block后的模型预测精度。

作者在Cifar-10和ImageNet数据集上进行实验,在参数设置上,Cell的Block个数为5,第一个Cell的输出通道设为 F = 24 F=24 F=24,Normal Cell的 N = 2 N=2 N=2,每增加一个Block挑选 K = 256 K=256 K=256个子网络进行训练和评估。

下面两张图是搜索出来的PNASNet在ImageNet上的训练结果,可以看出在同等级的模型参数条件下,PNASNet比传统手工设计的网络都更好。跟NASNet、AmoebaNet基本上也是不相上下,但是PNASNet的搜索速度比它们更快,相比NASNet,PNASNet搜索的模型个数少了5倍,搜索速度快了8倍。
在这里插入图片描述
图3. 小模型PNASNet在ImageNet上的性能
在这里插入图片描述
图4. 大模型PNASNet在ImageNet上的性能

这篇关于PNAS论文和算法解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/317976

相关文章

nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析(结合应用场景)

《nginx-t、nginx-sstop和nginx-sreload命令的详细解析(结合应用场景)》本文解析Nginx的-t、-sstop、-sreload命令,分别用于配置语法检... 以下是关于 nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析,结合实际应

MyBatis中$与#的区别解析

《MyBatis中$与#的区别解析》文章浏览阅读314次,点赞4次,收藏6次。MyBatis使用#{}作为参数占位符时,会创建预处理语句(PreparedStatement),并将参数值作为预处理语句... 目录一、介绍二、sql注入风险实例一、介绍#(井号):MyBATis使用#{}作为参数占位符时,会

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

使用Python绘制3D堆叠条形图全解析

《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下... 目录为什么选择 3D 堆叠条形图代码实现:从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景:3D 堆叠图

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

解析C++11 static_assert及与Boost库的关联从入门到精通

《解析C++11static_assert及与Boost库的关联从入门到精通》static_assert是C++中强大的编译时验证工具,它能够在编译阶段拦截不符合预期的类型或值,增强代码的健壮性,通... 目录一、背景知识:传统断言方法的局限性1.1 assert宏1.2 #error指令1.3 第三方解决

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言:为什么会有索引键长度问题?一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决