AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解)

2024-05-29 13:36

本文主要是介绍AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SD大模型的概念及基础知识

先做一个比喻

如果SD是一个画师,那么大模型就是画师的大脑!

就是可惜,这个大脑有点轴,它只能想象出自己喜欢的画面。

比如你用了一个二次元的大脑,它想出来的画面就是这样的:

如果用一个2.5次元的大脑,它想出来的画面是这样的:

 

如果用一个三次元的大脑,它想出来的画面是这样的:

怎么样,差别还是挺大的对吧?

那为什么会出现这种情况呢?搞这么多大模型不累吗?

那要从成本角度出发,给宝子们解释了。

这些大模型,实际上都是基于官方训练好的基础大模型进行额外训练而成的。毕竟如果从0开始训练一个大模型,这都不是我们这种平民玩家能够参与的。

哪怕是在官方的基础大模型的基础上进行训练,也是需要成本的。

简单点说,买个4090显卡,再跑个十天半个月的(还得准备好各种处理好的图片素材噢!)

噢?有宝子说,也没多大事?禾斗哥只能说,土豪,请给我的专栏友情资助呗~

一个4090显卡,可是需要1~2万米!

所以为了降本增效,在官方通用的基础大模型上,通过定向的训练统一风格的图片,让这个大脑越来越精通于这个方面的绘画。

于是乎,成千上万的大模型就出来咯~

宝子们,成千,上万的大模型,在等着你们!

因为每个大模型都是用一套图片定向训练出来的,所以就会出现一个现象:

对于同一个大模型,其风格是保持一致的,比如使用二次元的大模型,无论怎么生成,它画出来的图片都是二次元的。下面是用同一套提示词生成的图片

第1次生成

第2次生成

第3次生成

对吧?基本上效果是一致的。

当然,这个不绝对哈,毕竟世界上没有两张完全一样的树叶,当然也没有效果完全相同的两张AI生成的图片~

也有人用很多不同风格的图片训练同一个基础模型,不过都是基本在一个次元里的。那样训练成本就会急剧增加,不然就会得到一个什么都会画,但是什么都画不好的......

这么牛掰的SD大模型,其组成结构主要分成三个部分

首先,它得能看得懂你的提示词(提示词就是告诉SD画面是啥样的,比如有花、有草、蓝天白云...)

所以它有一个 Text Ecoder 模块,专门进行文字处理。把我们输入的提示词,转换为大模型能理解的各种参数。

其次,核心的,它得画点啥吧。

所以它有一个 Unet 模块,专门进行画图。不过要注意,这时候的图我们人是看不懂的。

先提个名词“潜空间”,大模型生成的图是潜空间的图,你可以暂时理解为一堆你看不懂的01010101....

我们能看懂的图,是像素空间,就像上面的美女老师一样。这个以后有机会再说,现在宝子只需要知道大模型本身画出来的图,我们是看不懂的,只有机器能看懂,就阔以啦~

总结就是,一个大模型,能够听懂人话、能够画点东西、能够展示图片。

出来吧,SD大模型们

请忽略上图的 jpg 和 png,我懒得专门截个图啦,嘿嘿

没错,那些 .safetensors 结尾的文件,都是大模型。

除此之外,在SD的早期,大模型都是 .ckpt 结尾的文件,也就是 checkpoint 文件(检查点文件)。它和 safetensors 文件是可以互换的,都是大模型。

OKK,我们了解了大模型的基本知识,也下载好了心仪的大模型,接下来我们就要看看

SD大模型的安装

宝子们,不要被标题吓到,其实所谓的安装就是把我们现在的大模型文件放到指定的文件夹里就可以啦!

 第一步:打开SD根目录

第二步:进入大模型文件夹

路径:SD根目录/models/Stable-diffusion/

在Stable-diffusion文件夹下的所有大模型文件都会被识别出来,即使你用了很多层的文件夹,也没有关系。

宝子们可以学禾斗哥,根据自己的分类方式建好文件夹,把大模型文件放进去就好啦。

第三步:粘贴下载的大模型

有细心的宝子会注意到,禾斗哥的文件夹里,怎么有图片,而且图片的名字和大模型的名字一样?

其实这是为了在WebUI选择大模型时,能够看到大模型生成效果的预览图,方便我们选择。

就像下面这样:

有图片的就会展示图片,如果没有,就会显示灰色的背景。

不过宝子们用熟练之后,有没有图无所谓啦,因为我们一般都是在左上角选择模型。你用的很爽的大模型,你会不知道它叫什么名字吗?对吧^_^!

嘿嘿,刚好说到这里,就进入到我们下一个主题。

SD大模型的使用

如果宝子已经打开着WebUI了,那这时候下载的新的大模型,即使放到

SD根目录/models/Stable-diffusion/

文件夹中,也不会在WebUI中展示出来,不能够选择使用。

难道每次下载安装完大模型都需要重启WebUI?!

NoNoNo!

只需要按一下大模型选择框旁边的刷新按钮就可以啦!

好了,关于大模型的喂饭(喂奶)就到这里了喔!

大家把自己的画图经验分享到评论区,一起成长一起进步!

最后想说


AIGC(AI Generated Content)技术,即人工智能生成内容的技术,具有非常广阔的发展前景。随着技术的不断进步,AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望:

1、AIGC技术将使得内容创造过程更加自动化,包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率,降低成本。2、在游戏、电影和虚拟现实等领域,AIGC技术将能够创造更加丰富和沉浸式的体验,推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念,提高创意过程的效率。

未来,AIGC技术将持续提升,同时也将与人工智能技术深度融合,在更多领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程。

对于从来没有接触过AI绘画的同学,我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

AIGC学习必备工具和学习步骤

工具都帮大家整理好了,安装就可直接上手

【Stable Diffusion安装包(含常用插件、模型)】

img

【AI绘画12000+提示词库】

img

【AI绘画800+骨骼姿势图】

img

【AI绘画视频合集】

img

还有一些已经总结好的学习笔记,可以学到不一样的思路。

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

而新时代随着AI流行,如果不更紧AI新时代时代只会被落后,想要学习或者尝试的伙伴可以点击下方二维码,即可前往免费领取!

这篇关于AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1013759

相关文章

Redis中6种缓存更新策略详解

《Redis中6种缓存更新策略详解》Redis作为一款高性能的内存数据库,已经成为缓存层的首选解决方案,然而,使用缓存时最大的挑战在于保证缓存数据与底层数据源的一致性,本文将介绍Redis中6种缓存更... 目录引言策略一:Cache-Aside(旁路缓存)策略工作原理代码示例优缺点分析适用场景策略二:Re

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程

MySQL数据库约束深入详解

《MySQL数据库约束深入详解》:本文主要介绍MySQL数据库约束,在MySQL数据库中,约束是用来限制进入表中的数据类型的一种技术,通过使用约束,可以确保数据的准确性、完整性和可靠性,需要的朋友... 目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UN

Python使用Matplotlib绘制3D曲面图详解

《Python使用Matplotlib绘制3D曲面图详解》:本文主要介绍Python使用Matplotlib绘制3D曲面图,在Python中,使用Matplotlib库绘制3D曲面图可以通过mpl... 目录准备工作绘制简单的 3D 曲面图绘制 3D 曲面图添加线框和透明度控制图形视角Matplotlib

MySQL中的分组和多表连接详解

《MySQL中的分组和多表连接详解》:本文主要介绍MySQL中的分组和多表连接的相关操作,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录mysql中的分组和多表连接一、MySQL的分组(group javascriptby )二、多表连接(表连接会产生大量的数据垃圾)MySQL中的

Java 实用工具类Spring 的 AnnotationUtils详解

《Java实用工具类Spring的AnnotationUtils详解》Spring框架提供了一个强大的注解工具类org.springframework.core.annotation.Annot... 目录前言一、AnnotationUtils 的常用方法二、常见应用场景三、与 JDK 原生注解 API 的

redis中使用lua脚本的原理与基本使用详解

《redis中使用lua脚本的原理与基本使用详解》在Redis中使用Lua脚本可以实现原子性操作、减少网络开销以及提高执行效率,下面小编就来和大家详细介绍一下在redis中使用lua脚本的原理... 目录Redis 执行 Lua 脚本的原理基本使用方法使用EVAL命令执行 Lua 脚本使用EVALSHA命令

SpringBoot3.4配置校验新特性的用法详解

《SpringBoot3.4配置校验新特性的用法详解》SpringBoot3.4对配置校验支持进行了全面升级,这篇文章为大家详细介绍了一下它们的具体使用,文中的示例代码讲解详细,感兴趣的小伙伴可以参考... 目录基本用法示例定义配置类配置 application.yml注入使用嵌套对象与集合元素深度校验开发

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

Java Stream流使用案例深入详解

《JavaStream流使用案例深入详解》:本文主要介绍JavaStream流使用案例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录前言1. Lambda1.1 语法1.2 没参数只有一条语句或者多条语句1.3 一个参数只有一条语句或者多