GoogLeNet(InceptionV3)模型算法

2024-06-15 00:28

本文主要是介绍GoogLeNet(InceptionV3)模型算法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GoogLeNet 团队在给出了一些通用的网络设计准则,以期望在不提高网络参数 量的前提下提升网络的表达能力:
       避免特征图 (feature map) 表达瓶颈:从理论上讲,尺寸 (seize) 才包含了相关结构等重要因素,维度(channel) 仅仅提供了信息内容的粗略估计,因此特征图的尺寸应该从输入到输出慢慢减小,避免使用极端压缩。更高的维度特征图更容易获得网络的局部表达:在卷积网络结构中,增加非线
性能够使得更多的特征解耦合,相互独立的特征更多,输入的信息就被分解的更彻底,分解的子特征间相关性低,子特征内部相关性高,因此高维特征带有更多的判别信息,会更容易收敛。在低维特征上的空间聚合( 池化 ) 不会 ( 极少 ) 损失太多信息:相邻的位置的信息具有强相关性,即使进行了降维,也不会带来太多的损失,并且维数的降低,也能够加速网络学习。
       平衡网络的宽度与深度:最优的网络应该在每一层网络宽度和网络深度之间有一个很好的平衡。

1.Factorized Convolutions卷积分解

       分解卷积的主要目的是为了 减少网络中的参数 ,主要方法有:大卷积分解成小卷积,小卷积分解为非对称卷积。
       大卷积分解成小卷积: 大尺度的卷积可以获得更大的感受野,但是也带来参数量的增加VggNet 表明使用大于大卷积核 ( 大于 3×3) 完全可以由一系列的3×3卷积核来替代,即使用小卷积核串联来替代大卷积核。因此在 InceptionV2中已经通过堆叠两层3×3 的卷积核的方式替代一层 5×5 的卷积核,这样的连接方式在保持感受野范围的同时又减少了参数量,不会造成表达缺失,降低网络性能,并且可以避免表达瓶颈,加深非线性表达能力。
       小卷积分解为非对称卷积: 3x3 卷积是能够完全获取上下文信息 ( 上、下、左、右) 的最小卷积核,是否能把小卷积核分解的更小呢?在 InceptionV3 中, GoogLeNet团队考虑了非对称卷积分解,引入了将一个较大的二维卷积拆成两个较小的一维卷积的做法,即任意n×n 的卷积都可以通过 1×n 卷积后接 n×1 卷积来替代,非对称卷积能够降低运算量,并且不会降低模型的整体表征能力。

2.InceptionV3结构(一)

      与 InceptionV2 结构相同,即 5x5 卷积使用两个 3x3 的卷积代替,目的是减少参数量和计算量—— 大卷积分解成小卷积。

3.InceptionV3结构(二)

       将 InceptionV2 结构中 3x3 的卷积使用 1x3 3x1 的卷积组合来代替, 5x5 的卷积使用俩个1x3 3x1 的卷积组合来代替,目的也是减少参数量和计算量 ———小卷积分解为非对称卷积。
采用这种分解在模型的早期网络层上不能有效发挥作用,但是在中等特征
图大小 (m×m ,其中 m 12 20 之间的范围 ) 上取得了非常好的效果。
使用 3x3 的卷积代替 5x5 的卷积,输出 512 通道特征图,输出 128 通道特征图:
参数量: 512×3×3×128+128×3×3×128=737280
计算量: 512×3×3×128×W×H+128×3×3×128×W×H=737280×W×H
W×H 是特征图尺寸,假设卷积层的输入输出特征图尺寸保持一致
使用 1x3 3x1 的卷积组合代替 5x5 的卷积,输出 512 通道特征图,输出 128 通道特
征图:
参数量: 512×1×3×128+128×3×1×128+128×1×3×128+128×3×1×128=344064
计算量:
512×1×3×128×W×H+128×3×1×128×W×H+128×1×3×128×W×H+128×3×1×128×W
×H=344064×W×H

4. InceptionV3结构(三)

该结构主要用于扩充通道数,网络变得更宽,该结构被放置在所以放在
GoogLeNet(InceptionV3) 的最后。

4. InceptionV3特殊结构

        在传统方法中,卷积神经网络使用池化等操作以减小特征图大小。先池化
再进行卷积升维会导致瓶颈结构,过程中将丢失很多信息,对于后面输出的特
征图提取的图像中的特征将会更少;先卷积升维再进行池化,计算量将增加三
倍,增加了计算成本:
        GoogLeNet(InceptionV3)的改进方案采用一种并行的降维结构,在扩充通
道数的同时下采样减小特征图大小,既减少计算量保证了计算效率又避免了瓶
颈结构。
替换 GoogLeNet(InceptionV1) 模型中的 MaxPool
辅助分类器
        GoogLeNet(InceptionV1)引入了辅助分类器的概念,最初的动机是为了将有用
的梯度反向传递到网络低层,解决梯度消失的问题,提高网络的收敛能力,保
证网络训练正常进行。
        GoogLeNet(InceptionV3)的实验则发现 1. 辅助分类器并不能保证收敛更快,并
且有无辅助分类器,训练过程基本保持一致,只有在训练的最后阶段,有辅助
分类器略微高于无辅助分类器的网络; 2. 位于网络低层的辅助分类器对最终结果
没有影响; 3. 辅助分类器充当了正则化器,如果辅助分类器带有 BN Dropout 层那么主分类器性能会更好。
GoogLeNet(InceptionV3) 中的辅助分类器同样不直接用于最终的预测结
果。在训练过程中,辅助分类器的损失函数会被加权,并与主分类器的损失函
数相结合。在推理阶段,辅助分类器被舍弃,仅使用主分类器进行预测。

GoogLeNet(InceptionV3)模型结构

下图是原论文给出的关于 GoogLeNet(InceptionV3) 模型结构的详细示意图:
        GoogLeNet(InceptionV3)在图像分类中分为两部分: backbone 部分: 主
要由 InceptionV3 模块、卷积层和池化层 ( 汇聚层 ) 组成,分类器部分: 由主分类
器和辅助分类器组成。
        博主仿造GoogLeNet(InceptionV1) 的结构绘制了以下 GoogLeNet(InceptionV3)
的结构。

这篇关于GoogLeNet(InceptionV3)模型算法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1061910

相关文章

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

使用雪花算法产生id导致前端精度缺失问题解决方案

《使用雪花算法产生id导致前端精度缺失问题解决方案》雪花算法由Twitter提出,设计目的是生成唯一的、递增的ID,下面:本文主要介绍使用雪花算法产生id导致前端精度缺失问题的解决方案,文中通过代... 目录一、问题根源二、解决方案1. 全局配置Jackson序列化规则2. 实体类必须使用Long封装类3.

Springboot实现推荐系统的协同过滤算法

《Springboot实现推荐系统的协同过滤算法》协同过滤算法是一种在推荐系统中广泛使用的算法,用于预测用户对物品(如商品、电影、音乐等)的偏好,从而实现个性化推荐,下面给大家介绍Springboot... 目录前言基本原理 算法分类 计算方法应用场景 代码实现 前言协同过滤算法(Collaborativ

openCV中KNN算法的实现

《openCV中KNN算法的实现》KNN算法是一种简单且常用的分类算法,本文主要介绍了openCV中KNN算法的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录KNN算法流程使用OpenCV实现KNNOpenCV 是一个开源的跨平台计算机视觉库,它提供了各

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

springboot+dubbo实现时间轮算法

《springboot+dubbo实现时间轮算法》时间轮是一种高效利用线程资源进行批量化调度的算法,本文主要介绍了springboot+dubbo实现时间轮算法,文中通过示例代码介绍的非常详细,对大家... 目录前言一、参数说明二、具体实现1、HashedwheelTimer2、createWheel3、n

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应