零基础学习图生图

2024-05-29 19:04
文章标签 基础 学习 图生

本文主要是介绍零基础学习图生图，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 一、图生图是什么
  • 二、安装秋叶整合包
    • 2.1 秋叶包安装
    • 2.2 秋叶包拓展安装：
    • 2.3 ckpt配置：
    • 2.4 界面常用功能配置：
  • 三、图生图基本功能展示
    • 3.1 图生图的界面
    • 3.2 重要的参数设置：
    • 3.3 涂鸦功能
    • 3.4 局部重绘功能
    • 3.5 涂鸦重绘
    • 3.6 上传重绘蒙版

一、图生图是什么

之前一直介绍文生图的若干技巧，例如训练属于自己的LoRA模型，作为一个微调的模型，可以较快实现生成内容的指定编辑。但是，有些情况下，无法用文字准确描述的时候，提示词的作用无法发挥出来，这个时候可以借助其他图的结构，来生成我们指定的图片内容，这就是图生图的原始思想。
举个例子：
给出一张示例图如下：
在这里插入图片描述
我们给出的提示词：蓝色眼睛。通过图生图的效果如下：
在这里插入图片描述

二、安装秋叶整合包

2.1 秋叶包安装

硬件环境：电脑处理器是13th Gen Intel® Core™ i9-13900K，3000 Mhz，24 个内核，32 个逻辑处理器，显卡NVIDIA GeForce RTX 4090；
软件环境：驱动版本是Nvidia 版本 546.17 (Game Ready 驱动程序），参考下图，选择pyTorch 版本为Torch2.2.0（CUDA11.8）+xFormers 0.0.24
安装提示：因为一直提示解压密码错误（使用的密码是：bilibili@秋葉aaaki （但是一直报错）），因此使用绘世启动器下载地址是：
https://www.bilibili.com/video/BV1ne4y1V7QU
具体为：下载之后，只从解压包里选择双击绘世启动，单独放到空文件夹，然后基本上从零开始安装各种库包，其中pyTorch怎么选择可以参考如下：

在这里插入图片描述

2.2 秋叶包拓展安装：

安装完之后，双击绘世启动器启动，按照下面图片的顺序安装相关扩展
在这里插入图片描述
需要安装的扩展就是下面这些：

a1111-sd-webui-tagcomplete
adetailer
multidiffusion-upscaler-for-automatic1111
sd-dynamic-thresholding
sd-webui-controlnet
sd-webui-infinite-image-browsing
sd-webui-lora-block-weight
sd-webui-model-converter
sd-webui-openpose-editor
sd-webui-prompt-all-in-one
sd-webui-segment-anything
sd-webui-supermerger
stable-diffusion-webui-model-toolkit
stable-diffusion-webui-wd14-tagger
ultimate-upscale-for-automatic1111
stable-diffusion-webui-localization-zh_Hans

2.3 ckpt配置：

可以选择已下载好的大模型（ckpt或safetensors文件）
在这里插入图片描述
这些完成了之后就一键启动（因为要加载SD-WebUI界面所以要一定时间），进入UI界面之后点击设置。
Tips：加载过程一般比较慢，如果无法加载成功，有可能需要更新显卡驱动。

2.4 界面常用功能配置：

例如SD、VAE或Clip步数等，都可以通过用户界面进行配置。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

像图片界面一样进行配置，配置完之后就先点击保存设置，然后重启网页UI。最后等一段时间加载完数据就可以正常使用了，为了验证是否可以用一般我们还会进测试，如下图所示进行文生图。
在这里插入图片描述

在这里插入图片描述
如果浏览器不断断开连接，需要不断刷新，可以检查自己显卡驱动是不是最新的。

三、图生图基本功能展示

3.1 图生图的界面

在这里插入图片描述

3.2 重要的参数设置：

重绘幅度：代表ai绘画参与的程度，数字越小越接近原图，0就是原图；1的话，表示100%重画，更改幅度最大。
在这里插入图片描述
重绘值：0，即图片与原图没有什么区别，只是尺度不一样。
在这里插入图片描述
分辨率设置：一般默认为512x512
在这里插入图片描述

也可在原图的分辨率设置倍数：如果想生成与原来图片一样大小的图片可以选择重绘尺度倍数，1就是原来大小，2就俩倍大依次类推。
在这里插入图片描述

参数：缩放模式，一共有4种，如下图所示：
在这里插入图片描述

  • 仅调整大小，对图像进行缩放，到目标分辨率。
  • 裁剪后缩放，对图像进行裁剪到目标尺度，再缩放大小。
  • 缩放后填充空白，对图像进行缩放，短边不足的部分会补充与背景相同的部分。如下图所示。
  • 调整大小 (潜空间放大)，这个主要是在原始图像进入潜空间之后对图像进行缩放，类似于对每个像素进扩大，，所以一般重绘幅度要大于0.5（越高效果越好），不然画质会很模糊，其主要是用来建立不同风格但是有点类似的图片。上图所示就是重绘程度0.93的效果图。

在这里插入图片描述
在这里插入图片描述
图生图的功能主要有：

  • 涂鸦
  • 局部重绘
  • 涂鸦重绘
  • 上传重绘蒙版
    在这里插入图片描述

3.3 涂鸦功能

涂鸦功能，体现在：一个最好是纯白色背景的图片，然后使用鼠标选择画笔与颜色进行涂鸦绘画，然后通过提示词，即可生成与涂鸦内容相似的内容。

比方说，本人的涂鸦绘画如下所示：
在这里插入图片描述

给出提示词，比方说：a tree, wind
基于以上两点，生成的涂鸦定制图片如下所示：
在这里插入图片描述

3.4 局部重绘功能

局部重绘，字面意思一样，即通过鼠标画笔将局部像素抹掉。然后根据提示词，来生成抹掉部分的内容。它主要用在修改细节部分，即图片整体不错但有瑕疵时用到。
在这里插入图片描述

如上图所示用画笔选择好自己修改的地方后，可以写好自己想要的内容，然后选择重绘程度，还是和之前一样0.5是临界值低于0.5就和原图比较像，高于0.5则反之。

输入提示词为：lip stick, closed mouth.
写入相应的提示词如上图所示，点击生成，就可以得到自己想要的图片如下图所示。

观察生成的图片，可以明显看到：除了用画笔标记的嘴唇部位，其他区域没有发生变化。

3.5 涂鸦重绘

结合的涂鸦功能，以及重绘的功能，将二者结合到一起，发挥效能如何呢？

涂鸦重绘字面意思，你可以根据自己的意愿用画笔去改变图片，如下图所示
在这里插入图片描述
提示词为：tie
涂鸦重绘的效果图如下所示：
在这里插入图片描述
生成的图像，基本符合提示词的内容，局部细节保留了一些涂鸦的颜色。

3.6 上传重绘蒙版

重绘蒙版，一般需要通过鼠标即时的来操作，可以提前预设一些蒙版，在生成图片内容的过程中直接使用预设好的模板。
1、提前预设好的蒙版：
在这里插入图片描述
2、提示词
in spring

3、原图展示为：
在这里插入图片描述
4、通过上传重绘蒙版的效果图如下：
在这里插入图片描述
可以看到，在头像周围添加了一个带有春天元素的边框。这个的作用是我们不用再手动绘画蒙版具体功能，而是可以通过其他软件来制造蒙版，完成更加细致的修改,然后在输入相对应的提示词，对蒙版区域内的内容进行修改，最好不要用纯色蒙版。

这篇关于零基础学习图生图的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1014378。

相关文章

从基础到进阶详解Pandas时间数据处理指南

从基础到进阶详解Pandas时间数据处理指南

《从基础到进阶详解Pandas时间数据处理指南》Pandas构建了完整的时间数据处理生态,核心由四个基础类构成,Timestamp,DatetimeIndex,Period和Timedelta,下面我... 目录1. 时间数据类型与基础操作1.1 核心时间对象体系1.2 时间数据生成技巧2. 时间索引与数据
阅读更多...
Go学习记录之runtime包深入解析

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,：本文主要介绍Go学习记录之runtime包的... 目录前言：一、runtime包内容学习1、作用：① Goroutine和并发控制：② 垃圾回收：③ 栈和
阅读更多...
安装centos8设置基础软件仓库时出错的解决方案

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》：本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas
阅读更多...
Android学习总结之Java和kotlin区别超详细分析

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,：本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1：Kotlin 如何解决 Java 的 NullPointerExceptio
阅读更多...
Linux基础命令@grep、wc、管道符的使用详解

Linux基础命令@grep、wc、管道符的使用详解

《Linux基础命令@grep、wc、管道符的使用详解》：本文主要介绍Linux基础命令@grep、wc、管道符的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录grep概念语法作用演示一演示二演示三，带选项 -nwc概念语法作用wc，不带选项-c，统计字节数-
阅读更多...
python操作redis基础

python操作redis基础

《python操作redis基础》Redis(RemoteDictionaryServer)是一个开源的、基于内存的键值对（Key-Value）存储系统,它通常用作数据库、缓存和消息代理,这篇文章... 目录1. Redis 简介2. 前提条件3. 安装 python Redis 客户端库4. 连接到 Re
阅读更多...
SpringBoot基础框架详解

SpringBoot基础框架详解

《SpringBoot基础框架详解》SpringBoot开发目的是为了简化Spring应用的创建、运行、调试和部署等,使用SpringBoot可以不用或者只需要很少的Spring配置就可以让企业项目快... 目录SpringBoot基础 – 框架介绍1.SpringBoot介绍1.1 概述1.2 核心功能2
阅读更多...
Spring Boot集成SLF4j从基础到高级实践(最新推荐)

Spring Boot集成SLF4j从基础到高级实践(最新推荐)

《SpringBoot集成SLF4j从基础到高级实践(最新推荐)》SLF4j(SimpleLoggingFacadeforJava)是一个日志门面（Facade）,不是具体的日志实现,这篇文章主要介... 目录一、日志框架概述与SLF4j简介1.1 为什么需要日志框架1.2 主流日志框架对比1.3 SLF4
阅读更多...
Spring Boot集成Logback终极指南之从基础到高级配置实战指南

Spring Boot集成Logback终极指南之从基础到高级配置实战指南

《SpringBoot集成Logback终极指南之从基础到高级配置实战指南》Logback是一个可靠、通用且快速的Java日志框架,作为Log4j的继承者,由Log4j创始人设计,：本文主要介绍... 目录一、Logback简介与Spring Boot集成基础1.1 Logback是什么？1.2 Sprin
阅读更多...
重新对Java的类加载器的学习方式

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》：本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2