Flux持续火爆,这些LoRA、ControlNet、工作流你值得拥有

2024-09-05 22:04

本文主要是介绍Flux持续火爆,这些LoRA、ControlNet、工作流你值得拥有,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大家好,我是每天分享AI应用的萤火君!

Flux自发布以来,受到了广大AI绘画爱好者的一致好评,远远的将SD3甩在了脑后,其出图质量媲美Midjourney。而且Flux迭代迅速,接连发布了Flux.1的开发模型和个人模型,其Lora模型、ControlNet模型也迅速推出,社区创作热情高涨。

为了让大家对Flux有一个全面的认识,本文将介绍下Flux基础模型、LoRA模型,以及ControlNet模型的使用方法。

因为Flux模型目前还不能在Stable Diffusion WebUI中使用,所以本文将以另一个常用的AI绘画工具 ComfyUI 为例进行讲解。同时为了方便大家测试,我在云环境也创建了一个ComfyUI的镜像,内置了Flux的模型和工作流,一键开启,不用费劲吧啦的部署。

Flux介绍

Flux是目前最大的AI绘画开源模型,有120亿个参数,原始文件有23GB那么大。听起来很吓人吧?但别担心,通过ComfyUI的支持,我们可以把模型压缩到12GB,并且它会自动检测显存来调整加载方式,这样我们在普通的消费级电脑上也能跑得动。

Flux 在视觉效果、提示的准确性、大小和比例的灵活性、排版和输出多样性方面,比Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra这些流行模型都要好。它可以在256到2048的宽分辨率范围内生成高质量、少冗余的图像,四肢表现也非常稳定。虽然对硬件有点要求,但效果真的很值。

Flux目前发布的 Flux.1 有三个版本,pro、dev和schnell。pro效果最好,但是闭源不开放;dev效果和pro差不多,虽然有商业使用的限制,但是可以免费测试(你懂的);schnell是个蒸馏模型,可以4步快速出图,效果虽然差点,但是也可以媲美Midjourney v6.0 和 DALL·E 3 (HD)。

使用云环境

云环境的地址:https://www.haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q

系统有一定的赠送额度,大家可以用几个小时,足够时间体验Flux了。

点击页面上的“立即创建”,即可开启 ComfyUI 应用,如下图所示:

应用创建后会自动跳转至“工作台”。启动成功后,状态将显示为“运行中”,此时点击“打开应用”,即可在浏览器进入操作界面。本应用启动大约需要1-2分钟,如果打开页面显示空白,请刷新再尝试。

ComfyUI在浏览器中启动后,我们可以先通过设置切换到中文界面:

然后点击“加载”旁边的小箭头,选择一个“Flux”工作流,点击“添加提示词队列”,就可以开始愉快的生成了。

如果你懂一些技术,也可以通过手动启动镜像的方式来体验ComfyUI,镜像地址在这里:

https://bbs.haoee.com/postDetail/618

Flux基础模型的使用

这里介绍两个基础模型的工作流:dev模型和schnell模型。

先看dev模型的工作流:Flux的工作流和其它SD模型的工作流没有太大的区别,都是:加载基础模型、编码提示词、定义潜在空间、采样器采样、解码器解码。

不太一样的就是这里增加了一个:Flux引导,Flux引导的目的是增强图片质量,生成训练时CFG为这个值的图像质量,但是不会降低生成速度;此时我们可以将CFG的值设置为1,用来提高生成速度,注意CFG的值不用太高,1-2.5即可;另外Flux.1还不能使用反向提示词。

再看schnell模型的使用:schnell 是个蒸馏模型,可以认为学习到了Flux原始模型的精华部分,这里不需要使用Flux引导,且只需要4步,图片的质量依旧很优秀。

另外这里用到的两个模型中都包含了提示词编码器CLIP和潜在空间解码器VAE,他们不用单独设置。

Flux LoRA模型的使用

再看这个LoRA模型的工作流。

这里使用了双CLIP编码器,并单独加载了CLIP模型,SD3也使用了双CLIP编码,CLIP1可以看做是对标签类提示词的编码,CLIP2是对自然语言提示词的编码,这样编码对图片的质量比较好。另外我们还使用了“CLIP文本编码Flux”这个编码器,它自带Flux引导,就不用单独添加Flux引导节点了。

因为单独加载了CLIP模型,这里使用了UNET加载器来加载Flux的基础模型,加载LoRA也是使用的Flux专属节点,后边的采样器也是专为Flux量身定制的Xlabs Sampler。

Flux ControlNet模型的使用

目前有三个适用于Flux的 ControlNet,分别是 Canny、Hed 和 Depth。这里以Canny为例:

工作流的左边是ControlNet的处理,右边是Flux采样部分的节点。

其中ControlNet的预处理器还是可以使用我们之前在SD1.5和SDXL使用的预处理器,但是加载和应用ControlNet模型要换成Flux专用的。

右侧的Flux采样使用的节点上边都介绍过了,这里就不废话了。有看不懂的地方,可以留言。

ControlNet模型正在快速迭代中,目前已经发布到了V3版本。

资源下载

以上工作流包括使用的模型,发消息“Flux”到公/众\号“萤火遛AI”即可下载。

为了方便大家入门,我整理了一批工作流,包括基本的文生图、图生图、ControlNet的使用、图片的处理、视频的处理等等,也可全部领取。


以上就是本文的主要内容,如有问题,欢迎留言。

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
  • 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 Stable Diffusion,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。

这篇关于Flux持续火爆,这些LoRA、ControlNet、工作流你值得拥有的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1140190

相关文章

LiteFlow轻量级工作流引擎使用示例详解

《LiteFlow轻量级工作流引擎使用示例详解》:本文主要介绍LiteFlow是一个灵活、简洁且轻量的工作流引擎,适合用于中小型项目和微服务架构中的流程编排,本文给大家介绍LiteFlow轻量级工... 目录1. LiteFlow 主要特点2. 工作流定义方式3. LiteFlow 流程示例4. LiteF

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

基于Python开发一个有趣的工作时长计算器

《基于Python开发一个有趣的工作时长计算器》随着远程办公和弹性工作制的兴起,个人及团队对于工作时长的准确统计需求日益增长,本文将使用Python和PyQt5打造一个工作时长计算器,感兴趣的小伙伴可... 目录概述功能介绍界面展示php软件使用步骤说明代码详解1.窗口初始化与布局2.工作时长计算核心逻辑3

RabbitMQ工作模式中的RPC通信模式详解

《RabbitMQ工作模式中的RPC通信模式详解》在RabbitMQ中,RPC模式通过消息队列实现远程调用功能,这篇文章给大家介绍RabbitMQ工作模式之RPC通信模式,感兴趣的朋友一起看看吧... 目录RPC通信模式概述工作流程代码案例引入依赖常量类编写客户端代码编写服务端代码RPC通信模式概述在R

JDK9到JDK21中值得掌握的29个实用特性分享

《JDK9到JDK21中值得掌握的29个实用特性分享》Java的演进节奏从JDK9开始显著加快,每半年一个新版本的发布节奏为Java带来了大量的新特性,本文整理了29个JDK9到JDK21中值得掌握的... 目录JDK 9 模块化与API增强1. 集合工厂方法:一行代码创建不可变集合2. 私有接口方法:接口

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

kotlin中的模块化结构组件及工作原理

《kotlin中的模块化结构组件及工作原理》本文介绍了Kotlin中模块化结构组件,包括ViewModel、LiveData、Room和Navigation的工作原理和基础使用,本文通过实例代码给大家... 目录ViewModel 工作原理LiveData 工作原理Room 工作原理Navigation 工

WiFi6时代来临! 华三H3C NX54路由器还值得购买吗?

《WiFi6时代来临!华三H3CNX54路由器还值得购买吗?》WiFi6时代已经来临,众多路由器厂商也纷纷推出了兼容WiFi6协议的路由器,今天我们将深入体验H3CNX54路由器,这款由知名企业... 随着科技的发展,WiFi6逐渐走进了我们的日常生活之中,相比WiFi5来说,WiFi6拥有更高的带宽、更高

Docker部署Jenkins持续集成(CI)工具的实现

《Docker部署Jenkins持续集成(CI)工具的实现》Jenkins是一个流行的开源自动化工具,广泛应用于持续集成(CI)和持续交付(CD)的环境中,本文介绍了使用Docker部署Jenkins... 目录前言一、准备工作二、设置变量和目录结构三、配置 docker 权限和网络四、启动 Jenkins