深度学习笔记(2)：1.12 梯度的数值逼近 | 1.13 梯度检验 | 1.14 梯度检验实施小tip

        这三小节实质上是在讲如何确保back prop正确实施，即进行back prop时，对参数求导过程是否准确。首先‘1.12 梯度的数值逼近’讲通过怎样的方法，我们可以得到对求导结果一个很好的逼近；‘1.13 梯度检验’告诉我们有了1.12中提出的方法，我们可以使用这个方法去检验参数求导过程是否准确，即检验back prop是否正确实施；‘1.14 梯度检验小tip’则是告诉我们在实际情况中使用梯度检验时的一些经验和点子。

1.12   梯度的数值逼近

首先介绍通过怎样的方法，我们可以得到对求导结果一个很好的逼近。如下图所示：

其实学过微积分的我们都知道，对于可导的函数，要求函数在某点的导数时，我们可以利用求导公式直接对函数求导，得到导数公式之后带入该点坐标即可得到函数在该点的导数值，除此之外，我们还可以利用导数的定义去求解函数在某一点的导数值。其实这里梯度检验的思想就是利用这两种求导思想去检验求导过程是否准确。

为了介绍这个逼近的方法，这里举个例子，如上图所示，假设我们的函数是F(x)=x^3(x等同于图中theta，便于打字)，函数图像如上图左下角所示。采用直接求导的方法，我们利用微积分的知识，可以得到其一阶导为3x^2，且函数在x=1处的导数为3，那如果