GAN笔记_李弘毅教程()Basic Theory

文章目录

这一章节主要讲的是GAN的一些基础知识

distribution在蓝色区域才能生成人脸，否则会很模糊。

那怎么找出这个distribution？
用最大似然估计，这里要有点相关基础。可见 https://www.jianshu.com/p/f1d3906e4a3e

这个过程相当于最小化KL散度。
以下这个过程有点像在凑KL散度的定义式，KL散度表征的是两个概率分布的差异，两者差异越小越好。
第六行后面被减的部分是自己加上去的。 $P_{data}(x)$服从Gaussian分布，可以积分。
（为啥G输入的不是一个随机data?）

如何定义一个通用 $P_G$？不可能都定义成高斯。
把G化成一个network。让 $P_G$和 $P_{data}$越接近越好——最小化KL散度。

如何计算出divergence?因为不知道 $P_G$和 $P_{data}$的公式。
从 $P_G$和 $P_{data}$中取样出来一些样本

怎么divergence?
通过D,写出一个目标函数。和二元分类有点像。

当很难区分蓝色星星和红色星星时，就无法再压低Loss。意味着它们已经很接近了，divergence很小。

（接下来一堆数学公式拉……）

当D为多少？目标函数越大？


把D代入右上角的式子里，最后一行分子和分母都同除以2，

并且提取出来：

得到：

坐标图表示，随着横坐标G的变化，选择不同的D会有不同的V。

替换 $Div(P_G,P_{data})$

最大化 $V(G,D)$——在不同种G时，选择最大的V，即为最优。

最小化 $\underset{D}{\max }V(G,D)$——即在三个最大的点上选择最小的那个V。在这个例子中应该为 $G_3$。纵坐标零点可以理解为 $P_{data}$,V到横坐标的距离就是表示G生成的样本和真实样本的距离，该距离越小越好。

如何解这个min max问题？

为什么说上图可以解min max问题？
$\underset{D}{\max }V(G,D)$可以先看成 $L(G)$,然后用梯度下降，更新G。