ShuffleNet v2算法详解

本文主要是介绍ShuffleNet v2算法详解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

论文地址：https://arxiv.org/pdf/1807.11164.pdf

ShuffleNet v1的升级版，文中提供了如何建立weights-light网络的四条准则，并做实验进行了详细的分析，并依照这四点建议，在v1的基础上修改ShuffleNet block

先看图对比shuffleNet v2的效果。对比了GPU和ARM平台下的速度和准确率的分布情况。作者提出：单一的FLOPs（认为这个指标是间接的）不能准确的说明模型的速度，因此应该有其他更加直接的指标来衡量模型的速度。其一是MAC（memory access cost：内存访问消耗时间），其二是：platform（平台：GPU,CPU,ARM）;接着就做了四个实验来证明自己的观点，同时这四个实验就是作者提出的建立轻量级网络的准则

一、Equal channel width minimizes memory access cost (MAC).

实验是关于卷积层的输入输出特征通道数对MAC指标的影响。

结论是卷积层的输入和输出特征通道数相等时MAC最小，此时模型速度最快。

证明：

FLOPs数：输入通道为c1,输出通道为吃c2，特征尺寸为h*w,卷积核大小为1*1， B为FLOPs数

存储空间：因为是1*1卷积，所以输入特征和输出特征的尺寸是相同的，这里用h和w表示，其中hwc1表示输入特征所需存储空间，hwc2表示输出特征所需存储空间，c1c2表示卷积核所需存储空间。

将上述两个式子带入下式，就是均值不等式（c1-c2）^2 >=0

实验结果

二、Excessive group convolution increases MAC.

关于卷积的group操作对MAC的影响。

结论是过多的group操作会增大MAC，从而使模型速度变慢。

证明：g为分组数

实验结果

三、Network fragmentation reduces degree of parallelism.

模型设计的分支数量对模型速度的影响。

结论是模型中的分支数量越少，模型速度越快。

实验结果：x-fragment-series表示一个block中有x个卷积层串行

四、Element-wise operations are non-negligible

关于element-wise操作对模型速度的影响。

结论是element-wise操作所带来的时间消耗远比在FLOPs上的体现的数值要多，因此要尽可能减少element-wise操作。

实验结果：下图是作者多ShuffleNet v1和MobileNet v2的集中操作做了时间的分析

shrot-cut就是ResNet网络中的short-cut结构

ShuffleNet v2的结构

图c是shuffleNet v2的结构图，先做了一个通道的分割，对应实验一的结论。比如说，左半部分的shortcut为c,则有半部分为c`, （c+c` = 输入通道数）；取消了1*1卷积，对应实验二的结论；concat操作以后做通道shuffle。最后做通道shuffle的原因也是为了通道之间信息交流。