AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解)

2024-05-29 13:36

本文主要是介绍AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SD大模型的概念及基础知识

先做一个比喻

如果SD是一个画师,那么大模型就是画师的大脑!

就是可惜,这个大脑有点轴,它只能想象出自己喜欢的画面。

比如你用了一个二次元的大脑,它想出来的画面就是这样的:

如果用一个2.5次元的大脑,它想出来的画面是这样的:

 

如果用一个三次元的大脑,它想出来的画面是这样的:

怎么样,差别还是挺大的对吧?

那为什么会出现这种情况呢?搞这么多大模型不累吗?

那要从成本角度出发,给宝子们解释了。

这些大模型,实际上都是基于官方训练好的基础大模型进行额外训练而成的。毕竟如果从0开始训练一个大模型,这都不是我们这种平民玩家能够参与的。

哪怕是在官方的基础大模型的基础上进行训练,也是需要成本的。

简单点说,买个4090显卡,再跑个十天半个月的(还得准备好各种处理好的图片素材噢!)

噢?有宝子说,也没多大事?禾斗哥只能说,土豪,请给我的专栏友情资助呗~

一个4090显卡,可是需要1~2万米!

所以为了降本增效,在官方通用的基础大模型上,通过定向的训练统一风格的图片,让这个大脑越来越精通于这个方面的绘画。

于是乎,成千上万的大模型就出来咯~

宝子们,成千,上万的大模型,在等着你们!

因为每个大模型都是用一套图片定向训练出来的,所以就会出现一个现象:

对于同一个大模型,其风格是保持一致的,比如使用二次元的大模型,无论怎么生成,它画出来的图片都是二次元的。下面是用同一套提示词生成的图片

第1次生成

第2次生成

第3次生成

对吧?基本上效果是一致的。

当然,这个不绝对哈,毕竟世界上没有两张完全一样的树叶,当然也没有效果完全相同的两张AI生成的图片~

也有人用很多不同风格的图片训练同一个基础模型,不过都是基本在一个次元里的。那样训练成本就会急剧增加,不然就会得到一个什么都会画,但是什么都画不好的......

这么牛掰的SD大模型,其组成结构主要分成三个部分

首先,它得能看得懂你的提示词(提示词就是告诉SD画面是啥样的,比如有花、有草、蓝天白云...)

所以它有一个 Text Ecoder 模块,专门进行文字处理。把我们输入的提示词,转换为大模型能理解的各种参数。

其次,核心的,它得画点啥吧。

所以它有一个 Unet 模块,专门进行画图。不过要注意,这时候的图我们人是看不懂的。

先提个名词“潜空间”,大模型生成的图是潜空间的图,你可以暂时理解为一堆你看不懂的01010101....

我们能看懂的图,是像素空间,就像上面的美女老师一样。这个以后有机会再说,现在宝子只需要知道大模型本身画出来的图,我们是看不懂的,只有机器能看懂,就阔以啦~

总结就是,一个大模型,能够听懂人话、能够画点东西、能够展示图片。

出来吧,SD大模型们

请忽略上图的 jpg 和 png,我懒得专门截个图啦,嘿嘿

没错,那些 .safetensors 结尾的文件,都是大模型。

除此之外,在SD的早期,大模型都是 .ckpt 结尾的文件,也就是 checkpoint 文件(检查点文件)。它和 safetensors 文件是可以互换的,都是大模型。

OKK,我们了解了大模型的基本知识,也下载好了心仪的大模型,接下来我们就要看看

SD大模型的安装

宝子们,不要被标题吓到,其实所谓的安装就是把我们现在的大模型文件放到指定的文件夹里就可以啦!

 第一步:打开SD根目录

第二步:进入大模型文件夹

路径:SD根目录/models/Stable-diffusion/

在Stable-diffusion文件夹下的所有大模型文件都会被识别出来,即使你用了很多层的文件夹,也没有关系。

宝子们可以学禾斗哥,根据自己的分类方式建好文件夹,把大模型文件放进去就好啦。

第三步:粘贴下载的大模型

有细心的宝子会注意到,禾斗哥的文件夹里,怎么有图片,而且图片的名字和大模型的名字一样?

其实这是为了在WebUI选择大模型时,能够看到大模型生成效果的预览图,方便我们选择。

就像下面这样:

有图片的就会展示图片,如果没有,就会显示灰色的背景。

不过宝子们用熟练之后,有没有图无所谓啦,因为我们一般都是在左上角选择模型。你用的很爽的大模型,你会不知道它叫什么名字吗?对吧^_^!

嘿嘿,刚好说到这里,就进入到我们下一个主题。

SD大模型的使用

如果宝子已经打开着WebUI了,那这时候下载的新的大模型,即使放到

SD根目录/models/Stable-diffusion/

文件夹中,也不会在WebUI中展示出来,不能够选择使用。

难道每次下载安装完大模型都需要重启WebUI?!

NoNoNo!

只需要按一下大模型选择框旁边的刷新按钮就可以啦!

好了,关于大模型的喂饭(喂奶)就到这里了喔!

大家把自己的画图经验分享到评论区,一起成长一起进步!

最后想说


AIGC(AI Generated Content)技术,即人工智能生成内容的技术,具有非常广阔的发展前景。随着技术的不断进步,AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望:

1、AIGC技术将使得内容创造过程更加自动化,包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率,降低成本。2、在游戏、电影和虚拟现实等领域,AIGC技术将能够创造更加丰富和沉浸式的体验,推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念,提高创意过程的效率。

未来,AIGC技术将持续提升,同时也将与人工智能技术深度融合,在更多领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程。

对于从来没有接触过AI绘画的同学,我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

AIGC学习必备工具和学习步骤

工具都帮大家整理好了,安装就可直接上手

【Stable Diffusion安装包(含常用插件、模型)】

img

【AI绘画12000+提示词库】

img

【AI绘画800+骨骼姿势图】

img

【AI绘画视频合集】

img

还有一些已经总结好的学习笔记,可以学到不一样的思路。

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

而新时代随着AI流行,如果不更紧AI新时代时代只会被落后,想要学习或者尝试的伙伴可以点击下方二维码,即可前往免费领取!

这篇关于AI绘画(Stable Diffusion)喂饭级教程-第2篇(SD大模型详解)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1013759

相关文章

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

一文详解SpringBoot中控制器的动态注册与卸载

《一文详解SpringBoot中控制器的动态注册与卸载》在项目开发中,通过动态注册和卸载控制器功能,可以根据业务场景和项目需要实现功能的动态增加、删除,提高系统的灵活性和可扩展性,下面我们就来看看Sp... 目录项目结构1. 创建 Spring Boot 启动类2. 创建一个测试控制器3. 创建动态控制器注

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

C#读写文本文件的多种方式详解

《C#读写文本文件的多种方式详解》这篇文章主要为大家详细介绍了C#中各种常用的文件读写方式,包括文本文件,二进制文件、CSV文件、JSON文件等,有需要的小伙伴可以参考一下... 目录一、文本文件读写1. 使用 File 类的静态方法2. 使用 StreamReader 和 StreamWriter二、二进

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

java中反射Reflection的4个作用详解

《java中反射Reflection的4个作用详解》反射Reflection是Java等编程语言中的一个重要特性,它允许程序在运行时进行自我检查和对内部成员(如字段、方法、类等)的操作,本文将详细介绍... 目录作用1、在运行时判断任意一个对象所属的类作用2、在运行时构造任意一个类的对象作用3、在运行时判断

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具

MyBatis-Plus 中 nested() 与 and() 方法详解(最佳实践场景)

《MyBatis-Plus中nested()与and()方法详解(最佳实践场景)》在MyBatis-Plus的条件构造器中,nested()和and()都是用于构建复杂查询条件的关键方法,但... 目录MyBATis-Plus 中nested()与and()方法详解一、核心区别对比二、方法详解1.and()