基于PaddlePaddle的飞桨论文解读：StarGAN v2: Diverse Image Synthesis for Multiple Domains

目录

摘要

StarGAN v2网络架构

实验 

1.Baselines

2.数据集

3.评价指标

实验结果分析

1.个别成分分析

2.多种图像合成方法的比较

结论

模型代码（model.py）  

主体代码（main.py）

总结

摘要

一个好的图像到图像的翻译模型应该学习不同视觉域之间的映射，同时满足以下特性：1）生成图像的多样性   2）多域的可伸缩性。现有的方法解决了这两个问题中的任何一个，其多样性有限，或者所有领域都有多个模型。我们提出了starganv2，一个单一的框架，它可以同时处理这两个问题，并在基线上显示出显著改进的结果。在CelebAHQ和一个新的动物面孔数据集（AFHQ）上的实验验证了我们在视觉质量、多样性和可扩展性方面的优势。为了更好地评估图像到图像的转换模型，我们发布了AFHQ，高质量的动物脸，具有较大的域间和域内差异。

StarGAN v2网络架构

1. Generator
2. Mapping network
3. Style encoder 
4. Discriminator

实验 

1.Baselines

我们使用MUNIT、DRIT和MSGAN作为Baselines，它们都学习两个域之间的多模映射。对于多域比较，我们为每对图像域多次训练这些模型。我们还将我们的方法与StarGAN进行了比较，StarGAN使用单个生成器学习多个域之间的映射。所有Baselines都是使用作者提供的实现进行训练的。

2.数据集

我们评估CelebA HQ上的StarGAN v2和我们新的AFHQ数据集，我们将CelebAHQ分为两个领域：雄性和雌性；AFHQ分为三个领域：猫、狗和野生动物。除域名标签外，我们不使用任何附加信息（如CelebA HQ的面部特征或AFHQ的品种），并让模型在没有监督的情况下学习样式等信息。为了公平比较，所有的图像都被调整到256×256分辨率，这是baseline中使用的最高分辨率。

3.评价指标

我们使用Frechet inception distance (FID)和learning perceptual image patch similarity (LPIPS)来评估生成图像的视觉质量和多样性。我们为数据集中的每对图像域计算FID和LPIPS，并报告它们的平均值。

实验结果分析

1.个别成分分析

使用CelebA-HQ来评估添加到baseline的StarGAN中的单个成分。表格给出了几种配置的FID和LPIPS，其中每个组件都是在StarGAN上累积添加的。每个配置的输入图像和相应生成的图像如图所示。baseline设置对应于StarGAN的基本设置，使用WGAN-GP、ACGAN鉴别器、深度级联为生成器提供目标域信息。如图所示，通过在输入图像上应用化妆品，原始StarGAN只产生一个局部变化。

我们首先通过用多任务鉴别器替换ACGAN鉴别器来改进baseline，允许生成器转换输入图像的全局结构，并且通过应用R1正则化并将深度连接转换为自适应实例规范化（AdaIN），进一步提高了训练的稳定性并构造了一个新的基线（C）。

2.多种图像合成方法的比较

• 潜在引导合成

CelebAHQ与baseline模型相比，我们的方法合成的图像具有更高的视觉质量。此外，我们的方法是唯一能够成功地改变源图像的整个发型的模型，这需要非常大的努力（例如生成耳朵）。对于变化较大的AFHQ，基线的性能大大降低，而我们的方法仍然可以生成高质量和多样化的图像。

• 参考指导合成

从目标域中抽取测试图像，并将它们馈送给每种方法的编码器网络。对于CelebA HQ，我们的方法成功地渲染了独特的样式（例如刘海、胡须、化妆品和发型），而其他方法大多与参考图像的颜色分布相匹配。对于更具挑战性的AFHQ，baseline模型会经历一个大的域转移。它们很难反映每个参考图像的风格，只与域匹配。相比之下，该模型渲染每个参考图像的不同风格（例如品