本文主要是介绍调参笔记：神经网络收敛问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
最近网络一直有收敛的问题，怀疑是梯度在训练的时候爆炸或归零导致分类器对evaluate集全0或全1预测。
第一个问题是出现accuracy固定在baseline上，无法提高
原因：
- tf的share embedding column函数
- learning rate不合适
将learning rate反复尝试并去掉share embedding column层改用加一层dense layer作为embedding后问题解决。至于为什么share embedding column出问题，个人猜测是可能本身这个模型的权重就不好收敛，函数导致权重变化进一步过大或过小所以miss掉了极值点，后面找个时间研究一下这个问题。
第二个问题是accuracy在达到某个极值后突然调回baseline，并不变化。
原因：learning rate过大
将学习率调小后解决，原因是学习率过大导致训练中某一个或几个权重爆炸。
最后一个介绍如何检查模型的blog：
This blog gives a quick step to check your model: 37 Reasons why your Neural Network is not working
这篇关于调参笔记：神经网络收敛问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
