AIGC实战——ProGAN(Progressive Growing Generative Adversarial Network)

本文主要是介绍AIGC实战——ProGAN(Progressive Growing Generative Adversarial Network),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

AIGC实战——ProGAN

    • 0. 前言
    • 1. ProGAN
    • 2. 渐进式训练
    • 3. 其他技术
      • 3.1 小批标准差
      • 3.2 均等学习率
      • 3.3 逐像素归一化
    • 4. 图像生成
    • 小结
    • 系列链接

0. 前言

我们已经学习了使用生成对抗网络 (Generative Adversarial Network, GAN) 解决各种图像生成任务。GAN 的模型架构和训练过程具有很高的灵活性,通过改进 GAN 架构设计和训练过程,研究人员提出了多种不同的网络架构,本节中,我们将介绍 ProGAN (Progressive Growing Generative Adversarial Network) 架构。

1. ProGAN

ProGAN (Progressive Growing Generative Adversarial Network )是由 NVIDIA2017 年提出的生成对抗网络 (Generative Adversarial Network, GAN) 模型,旨在提高 GAN 训练的速度和稳定性。在 ProGAN 中,并不直接对高分辨率图像进行训练,而是首先在低分辨率图像(例如 4 × 4 像素的图像)上训练生成器和判别器,然后在整个训练过程中逐渐增加网络层数以提高分辨率。需要注意的是,训练 ProGAN 需要大量的计算资源。

2. 渐进式训练

ProGAN 同样需要构建两个独立的网络,生成器和判别器,在训练过程中它们交替训练。
在普通 GAN 中,生成器始终输出高分辨率图像,即使在训练的早期阶段也是如此。但这种策略可能并非最优选择,生成器可能在训练的早期阶段很难学习到复杂特征。首先训练一个轻量级的 GAN 来生成准确的低分辨率图像,然后逐渐增加分辨率,这就是渐进式训练 (progressive training) 的核心思想。ProGAN 通过多个阶段进行训练,使用插值方法将训练集中图像尺寸缩放到 4 × 4 作为初始阶段,如下图所示。

渐进式训练

首先训练生成器将潜在输入噪声向量z(例如,长度为 512 )转换为形状为 4 × 4 × 3 的图像。相应的判别器将需要将尺寸为 4 × 4 × 3 的输入图像转换为标量预测,第一步中网络架构如下图所示。

网络架构

生成器中的蓝色框表示将一组特征图转换为 RGB 图像 (toRGB) 的卷积层,判别器中的蓝色框表示将 RGB 图像转换为一组特征图 (fromRGB) 的卷积层。
在原始 ProGAN 模型中,使用 80 万张图像训练这两个网络。接下来,我们需要了解如何扩展生成器和判别器以处理 8 × 8 像素的图像。
为了扩展生成器和判别器,我们需要混合使用其他神经网络层,可以分为过渡 (transition) 和稳定 (stabilization) 两个阶段。

网络架构

在过渡阶段,生成器会在现有的网络中附加新的上采样和卷积层,并使用残差连接来传递已经过训练的 toRGB 层的输出。需要注意的是,新的网络层最初使用参数 α α α 进行掩码处理,该参数在过渡阶段逐渐从 0 增加到 1,以便允许更多的新 toRGB 输出通过,减少现有 toRGB 层的输出。这是为了避免在添加新层时对网络造成冲击。
最终,旧的 toRGB 层输出被完全掩码,网络进入稳定阶段,在这一阶段,网络可以进一步调整输出,而不需要经过旧的 toRGB 层的输出。
鉴别器使用类似的过程,如下图所示。需要在输入图像之后,添加新的下采样和卷积层。现有的fromRGB层通过残差连接相连,并在过渡阶段随着新层的添加逐渐被淘汰,稳定阶段允许鉴别器使用新层进行微调。

模型架构

需要注意的是,即使网络是渐进训练的,也不会冻结任何网络层,在整个训练过程中,所有网络层都保持可训练状态。
ProGAN 中图像尺寸从 4 × 4 开始逐渐增长到 8 × 816 × 1632 × 32,直到 1,024 × 1,024,如下图所示。

整体架构

生成器和鉴别器的整体结构如下图所示。

模型架构

3. 其他技术

除了渐进训练外,ProGAN 还使用了包括小批标准差、均等学习率和逐像素归一化等技术。

3.1 小批标准差

小批标准差(Minibatch Standard Deviation)可以用于增加样本的多样性和减少模式崩溃的问题。在传统的 GAN 中,生成器网络接收一个随机噪声向量作为输入,并生成相应的合成样本。然而,这种方法存在一个问题,即生成的样本可能会过于相似,缺乏多样性。这是因为生成器通过学习大量样本的平均特征来生成图像,导致样本之间缺乏差异。
为了解决这个问题,小批标准差技术引入了一种新的特征向量计算方法。具体而言,它在生成器网络的某一层中计算生成样本的特征向量,并在训练过程中使用这些特征向量的标准差作为一个额外的特征。这个标准差可以理解为表示一小批(minibatch)样本之间的差异程度。
通过引入小批标准差,判别器网络不仅可以评估生成样本与真实样本之间的差异,还可以考虑生成样本之间的多样性。这使得生成器更倾向于生成多样性更高的样本,避免生成过于相似的输出。
小批标准差技术对于解决模式崩溃问题也是有效的。通过使用小批标准差,生成器可以更好地学习到数据集的整体分布,避免陷入单一模式。

3.2 均等学习率

均等学习率 (Equalized Learning Rates) 是一种用于训练神经网络的技术,旨在解决传统神经网络中的权重初始化问题。传统的神经网络在权重初始化时通常使用高斯分布或均匀分布随机初始化,这通常有助于提高训练过程的稳定性,但这种方法缺乏可解释性和普适性,导致网络可能出现梯度爆炸、梯度消失等问题。
AdamRMSProp 等优化器会规范化每个权重的梯度更新,使得更新的大小与权重的尺度(大小)无关。然而,这意味着动态范围较大的权重(即,输入较少的层)比动态范围较小的权重(即,输入较多的层)调整所需的时间相对较长。这会导致 ProGAN 中的生成器和判别器不同层的训练速度不平衡,因此需要使用均等学习率来解决这个问题。
均等学习率利用了批归一化的基本原理,在每一层的输入上动态地归一化权重,从而使每一层的输出具有相似的数量级。在实际应用中,通常通过将每一层的权重乘以一个标准化因子来实现。这个标准化因子可以根据每一层的权重大小和输入维度自适应地计算,从而保证每一层的权重归一化后具有相似的数量级。
除了权重归一化之外,均等学习率还通过缩放每一层的学习率来实现更加稳定的优化。在传统神经网络中,学习率通常是固定的,并在每次训练迭代中应用。然而,在使用均等学习率时,学习率会根据每一层的权重缩放,从而避免过度更新较小的权重(由于它们具有较大的梯度)或过度更新较大的权重(由于它们具有较小的梯度)。

3.3 逐像素归一化

逐像素归一化 (Pixelwise normalization) 是一种在图像生成任务中常用的技术,旨在提高生成模型的稳定性和样本质量。与传统的批归一化不同,批归一化是对整个批数据进行归一化处理,而逐像素归一化则是将每个像素独立地进行归一化。
在传统的生成模型中,生成器网络通常接收一个随机噪声向量作为输入,并生成一张完整的图像。然而,由于每个像素都是独立的,它们具有不同的分布和范围。这导致生成器在训练过程中可能会过度关注某些像素,而忽略其他像素的贡献,导致生成图像出现不均匀的色彩分布或噪点。
为了解决这个问题,逐像素归一化将每个像素独立地进行归一化处理,使得图像在各个像素上具有相似的分布。具体而言,对于每个像素,逐像素归一化计算该像素在所有样本中的均值和标准差,并将像素的原始值减去均值,然后除以标准差。这样做可以将每个像素的值缩放到接近零均值和单位方差的范围内,使得生成器更容易学习到图像的结构和细节。
逐像素归一化增加了生成器对每个像素的敏感性,并减少了样本之间的差异。这有助于生成器更好地捕捉图像的局部细节和全局结构,提高生成图像的质量和真实度。在逐像素归一化层并不存在可训练的权重。

4. 图像生成

除了 CelebA 数据集外,ProGAN 还是用大规模场景理解 (Large-scale Scene Understanding LSUN) 数据集的图像进行训练,生成的结果样本如下所示,这充分证明了 ProGAN 在图像生成方面的强大性能,并为 StyleGANStyleGAN2 等模型奠定了基础。

生成结果

小结

本节中,详细介绍了 ProGAN 模型的基本架构与训练流程。ProGAN 中首次提出了渐进训练概念,首先在低分辨率图像上训练生成器和判别器,然后在整个训练过程中逐渐增加网络层数以提高分辨率。

系列链接

AIGC实战——生成模型简介
AIGC实战——深度学习 (Deep Learning, DL)
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
AIGC实战——自编码器(Autoencoder)
AIGC实战——变分自编码器(Variational Autoencoder, VAE)
AIGC实战——使用变分自编码器生成面部图像
AIGC实战——生成对抗网络(Generative Adversarial Network, GAN)
AIGC实战——WGAN(Wasserstein GAN)
AIGC实战——条件生成对抗网络(Conditional Generative Adversarial Net, CGAN)
AIGC实战——自回归模型(Autoregressive Model)
AIGC实战——改进循环神经网络
AIGC实战——像素卷积神经网络(PixelCNN)
AIGC实战——归一化流模型(Normalizing Flow Model)
AIGC实战——能量模型(Energy-Based Model)
AIGC实战——扩散模型(Diffusion Model)
AIGC实战——GPT(Generative Pre-trained Transformer)
AIGC实战——Transformer模型

这篇关于AIGC实战——ProGAN(Progressive Growing Generative Adversarial Network)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/882347

相关文章

在IntelliJ IDEA中高效运行与调试Spring Boot项目的实战步骤

《在IntelliJIDEA中高效运行与调试SpringBoot项目的实战步骤》本章详解SpringBoot项目导入IntelliJIDEA的流程,教授运行与调试技巧,包括断点设置与变量查看,奠定... 目录引言:为良驹配上好鞍一、为何选择IntelliJ IDEA?二、实战:导入并运行你的第一个项目步骤1

Spring Boot3.0新特性全面解析与应用实战

《SpringBoot3.0新特性全面解析与应用实战》SpringBoot3.0作为Spring生态系统的一个重要里程碑,带来了众多令人兴奋的新特性和改进,本文将深入解析SpringBoot3.0的... 目录核心变化概览Java版本要求提升迁移至Jakarta EE重要新特性详解1. Native Ima

Spring Boot 与微服务入门实战详细总结

《SpringBoot与微服务入门实战详细总结》本文讲解SpringBoot框架的核心特性如快速构建、自动配置、零XML与微服务架构的定义、演进及优缺点,涵盖开发环境准备和HelloWorld实战... 目录一、Spring Boot 核心概述二、微服务架构详解1. 微服务的定义与演进2. 微服务的优缺点三

SpringBoot集成MyBatis实现SQL拦截器的实战指南

《SpringBoot集成MyBatis实现SQL拦截器的实战指南》这篇文章主要为大家详细介绍了SpringBoot集成MyBatis实现SQL拦截器的相关知识,文中的示例代码讲解详细,有需要的小伙伴... 目录一、为什么需要SQL拦截器?二、MyBATis拦截器基础2.1 核心接口:Interceptor

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Java docx4j高效处理Word文档的实战指南

《Javadocx4j高效处理Word文档的实战指南》对于需要在Java应用程序中生成、修改或处理Word文档的开发者来说,docx4j是一个强大而专业的选择,下面我们就来看看docx4j的具体使用... 目录引言一、环境准备与基础配置1.1 Maven依赖配置1.2 初始化测试类二、增强版文档操作示例2.

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

PowerShell中15个提升运维效率关键命令实战指南

《PowerShell中15个提升运维效率关键命令实战指南》作为网络安全专业人员的必备技能,PowerShell在系统管理、日志分析、威胁检测和自动化响应方面展现出强大能力,下面我们就来看看15个提升... 目录一、PowerShell在网络安全中的战略价值二、网络安全关键场景命令实战1. 系统安全基线核查

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语