GAN笔记_李弘毅教程(三)Unsupervised Conditional Generation

本文主要是介绍GAN笔记_李弘毅教程(三)Unsupervised Conditional Generation，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

简介
Direct Transformation
- Cycle GAN
- StarGAN
Projection to Common Space

简介

风景照—画作（风格迁移）：

Unsupervised Conditional Generation有两种方法：
第一种的直接转化通常是颜色上的改变；
而当差距很大的时候，用第二种方法：

Direct Transformation

1.让 ${D_Y}$ 判断输入的图片是属于Domain $X$ 还是Domain $Y$ ;
2.G产生尽量能骗过D的图片。但如何让G产生正确的和原图相对应的而不只是能骗过D的图片呢？

解决方法：直接无视（2333333……），G自会产生相对应的：
在这里插入图片描述

Cycle GAN

但如果G的层数很深的话，那么结果的确可能完全不一样，这时候就需要额外的处理。
可以将G的输入和输出都放置于pre-trained的Encoder Network中，再分别输出一个东西，这两个东西要尽量相似：

或者可以将G的输出再还原与原图尽量相似并且和Domain $Y$ 通过D作对比，这样就不会产生完全无关的图片：

这就是"Cycle consistency"，可以做双向的。
就是以上过程的一个逆过程：

Cycle consistency的应用：
转为银发
Cycle consistency存在的问题：
隐写术，也就是说当G生成的图片没有原图的一样东西，但转回去就会有这个东西。也就是说有信息被隐藏：

以下三种GAN其实为同一个思想：

StarGAN

用一个G可实现多domain互转

1.用一个D既能识别输入图片是否真实，又能判断出输入图片来自哪个domain;
2.在G中输入目标domain和图片，生成自己制造的假图片；同时把生成的同一个假图片放入同一个G，再告诉G原来的domian是哪一个domain,重新得到一张图片。这时候看重新得到的这张图片和原来G输入的图片越接近越好。
3.这是继续判断：G生成的假图片是否真实，还要看生成的假图片是否的属于那个domain。
（其实就是为了把目标域与目标图片和假图片和假图片所属域生成的图片一致，并且假图片能骗到D自己属于目标域）

举例（2个）
PS：domain可以有很多个，不如头发颜色，性别，年纪。由编码来表示domain。

Projection to Common Space

中间属性层是vector，表示x域的图像特征，然后用这些特征输出属于y域的图像。同时原图和被还原出的原图要很相似。

还可以加个D，强迫X域生成的图片再被还原的图片还是属于x域，还可以防止图片变模糊。
但因为上面一个GAN和下面一个GAN是分开训练的，所以G生成的y域图片可能和原图不相关

如何解决？
方法一：可以让Encoder和Decoder共享参数
Encoder前几个layer可以不一样，但后几个一定一样；
Decoder后几个layer可以不一样，但前几个一定一样。
这样就可以把x域和y域的图片的特征被压到同一个latent space中。
但还要给Encoder一个数值，让它知道输入的是来源于哪个domain的。

方法二：在latent space中加一个Domain D,让它无法评判输入进来的vector属于哪个域,这意味着不同域的它们的distribution是一样的。

方法三：用Cycle Consistency,和Cycle GAN很像，只是把G切成了Encoder和Decoder。

方法四：Semantic Consistency,让不同的latent code越接近越好。

应用：

把声音A转为声音B。

在过去，需要两人都说出相同的内容，现在可以不同内容。