深度学习记录--学习率衰减(learning rate decay)

本文主要是介绍深度学习记录--学习率衰减(learning rate decay)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

学习率衰减

mini-batch梯度下降最终会在最小值附近的区间摆动(噪声很大)，不会精确收敛

为了更加近似最小值，采用学习率衰减的方法

随着学习率的衰减，步长会逐渐变小，因此最终摆动的区间会很小，更加近似最小值

如下图，蓝色曲线表示mini-batch梯度下降，绿色曲线表示采用学习率衰减的梯度下降

学习率衰减的实现

1 epoch = 遍历数据1次

$\alpha = \frac{1}{1+rate_{decay}*num_{epoch}} *\alpha_{0}$

$rate_{decay}$ 是学习率衰减的超参数， $\alpha_{0}$ 是初始学习率， $num_{epoch}$ 是遍历次数

其他衰减方案

$\alpha = \varepsilon ^{num_{epoch}}*\alpha_{0}$

$\alpha_{0}$ 是初始学习率， $\varepsilon$ 是衰减常量，一般设置 $\varepsilon=0.95$ ， $num_{epoch}$ 是遍历次数

$\alpha = \frac{k}{\sqrt{num_{epoch}}} *\alpha_{0}$

$\alpha_{0}$ 是初始学习率， $k$ 是衰减常量， $num_{epoch}$ 是遍历次数

分段衰减函数

这篇关于深度学习记录--学习率衰减(learning rate decay)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/633659。如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈，一经查实，立即删除！我们的邮箱：23002807@qq.com