本文主要是介绍【池化方法】——softpool，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
转载自:AI人工智能初学者
code
1. 前言
通常卷积神经网络(CNNs)都会使用池化pool操作来减少Feature Map的尺寸。这个过程对于实现局部空间不变和增加后续卷积的感受野是至关重要的。因此池化pool操作应该尽量减少Feature Map映射中信息的丢失。同时，应该限制计算和内存开销。
为了满足这些需求，本文提出了一种快速、高效的池化方法SoftPool，softpool可以以指数加权方式累加激活。与一系列其他池化方法相比，SoftPool在下采样激活映射中保留了更多的信息。更精细的下采样导致更好的分类精度。在ImageNet上，对于一系列流行的CNN架构，用SoftPool替换原来的池化操作可以带来1-2%的一致性精度提升。SoftPool在视频数据集上的动作识别。同样，在计算负载和内存仍然有限的情况下，仅替换池化层依然可以提高精度。
上述大多数方法都是依赖于最大池化和平均池化的不同组合。而SoftPool的工作不是结合现有的方法，而是基于softmax加权方法来保留输入的基本属性，同时放大更大强度的特征激活。与max-pooling不同softpool是可微的。
因此，在反向传播过程中为每个输入获得一个梯度，这可能会提高训练效果。我们在上图中演示了SoftPool的效果。
其他以前的方法使用可训练的参数导致计算成本增加，直接影响较大网络的可用性。相比之下，SoftPool可以替代任何池化操作，包括最大池化和平均池化，而且计算和内存效率都很高。
2.
这篇关于【池化方法】——softpool的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
