解决Keras下训练CNN模型时，Loss值不断增大问题

背景

在服务器上训练用keras写的Lenet5的CNN分类模型过程中，发现训练一开始训练的loss值、测试的loss值都在不断增大。如下图：（值大到吐血）

于是乎，开始心酸找bug历程（暴哭）

解决过程

1.通常先查看数据集。图像和标签是否对应。没问题（√）
2.模型结构问题，特别是最后输出时种类个数对不对。没问题（√）
3.权重初始化问题。训练之前模型自动初始化。没问题（√）
4.选择合适的激活函数（选的relu）、损失函数（交叉熵）、优化器（Adam）、学习率（初始0.0001，之后一定epoch后下降）。没问题（√）
5.我训练的数据是识别文本验证码，同时也检查了标签是否进行了one-hot编码。没问题（√）
6.老老实实看了遍全部代码。同样没问题（√）

在以上没问题的情况下，训练是loss值还是在不断增大。于是乎，我不知道该改什么了…就去找博士了…
首先博士看了遍代码。没有问题
在他电脑上（windows系统）运行，没有问题，loss值是在下降…
我愣住…同样的代码莫非我电脑自带bug？？？
最后发现是tensorflow版本问题！！
他的版本是1.19.0，我的是2.0.0
我…(一时语塞)

结论

1.如果遇到训练一开始loss值就增大问题，排除上面那几点外，看下运行的环境！！tensorflow的版本。
2.现在tensorflow版本没有1.19.0的了，我就安装了1.13.1的版本，python的版本是3.7.1。注意，在我windows上运行没有一点问题。
但当我将相同环境放到linux上运行时，就会报错：

ImportError:  /lib64/libm.so.6: version `GLIBC_2.23' not found

弄了半天安装glibc_2.23，结果最后只需要配了python==3.6版本的虚拟环境就正常了。原因可能是windows和linux所用到的C库可能不一样叭。

好了，总算是正常跑起来了的样子。（撒花）

后续

打扰了…训练的时候忘记安装gpu版本的tensorflow，就说怎么训练的这么慢…pip install tensorflow-gpu==version 安装对应版本的，我安装了1.8.0的。