本文主要是介绍【深度学习笔记3.2 正则化】Dropout，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
关于dropout的理解与总结：
- dropout是什么？参考文献[1]
- dropout会让train变差，让test变好。一般的如果在train-set上表现好，在test-set上表现差，用dropout才有效果。使用dropout是为了避免过拟合。(来自网友)
- 下图来自文献[3]
上图中的思想就是说：Dropout是一种正则化技术，是防止过拟合最有效的方法，然而在以下几种情况下使用dropout会损害性能。
1). 放在最后一层之前(即softmax之前)。这通常是一个不适合使用dropout的地方，因为网络没有能力在分类之前“纠正”drop引起的错误；
2). 当网络较小时，通常不需要正则化。如果模型capacity已经很低时，那么增加正则化会进一步降低模型capacity以至于损害模型性能；
3). 使用dropout的网络收敛速度比较慢，但它最终收敛时的误差会比较低，所以如果你没有那么多时间训练网络直至收敛的话，你可能不应该使用dropout. - 当数据量不大的时候，通常不考虑使用dropout.
- 目前dropout已经很少使用，已经被一种称为Batch Normalization的技术有取代，当然这并不是说dropout就不是一个有效的工具[3]。
参考文献
[1] 理解dropout
[2] 深度学习中Dropout原理解析
[3] Dropout makes performance worse
这篇关于【深度学习笔记3.2 正则化】Dropout的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
