【DataWhale学习】用免费GPU线上跑StableDiffusion项目实践

2024-03-14 03:28

本文主要是介绍【DataWhale学习】用免费GPU线上跑StableDiffusion项目实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

用免费GPU线上跑SD项目实践

​ DataWhale组织了一个线上白嫖GPU跑chatGLM与SD的项目活动,我很感兴趣就参加啦。之前就对chatGLM有所耳闻,是去年清华联合发布的开源大语言模型,可以用来打造个人知识库什么的,一直没有尝试。而SD我前两天刚跟着B站秋叶大佬和Nenly大佬的视频学习过,但是生成某些图片显存吃紧,想线上部署尝试一下。

参考:DataWhale 学习手册链接

1 学习简介

本文以趋动云平台为例,详细介绍下如何通过平台提供的在线开发环境,直接在云端编写、运行代码,并使用GPU资源进行加速。本教程将学习云算力资源的使用方式,并给出了两个AI项目实践:

  • 用免费GPU创建属于自己的聊天GPT
  • 用免费GPU部署自己的stable-diffusion

平台注册:

  • 注册即送168元算力金
  • Datawhale专属注册链接:https://growthdata.virtaicloud.com/t/SA

适用人群

  • 新手开发者、快速原型设计者;
  • 需要协作和分享的团队;
  • 对大模型部署感兴趣的人;
  • 深度学习入门学习者;
  • 对使用GPU资源有需求的人。

优势:

无需进行本地环境配置,简单易用,便于分享和协作。

组织方:Datawhale x 趋动云

3 云端部署StableDiffusion模型

3.1 项目配置

  1. 创建项目

    在趋动云用户工作台中,点击 快速创建 ,选择 创建项目,创建新项目。

  2. 镜像配置

    选择 趋动云小助手AUTOMATIC1111/stable-diffusion-webui 镜像。

    image-20240311172651842

  3. 数据集配置

    公开 数据集中,选择 stable-diffusion-models 数据集。

    1710149308792

    配置完成后,点击创建,要求上传代码时,选择 暂不上传

  4. 初始化开发环境

    找到最右侧 “开发”-> “初始化开发环境实例”,我这里没按教程配置,因为SD生图需要较大显存,我选择了拥有24G显存的 B1.large,其他按教程一样,并设置了24h的最长运行时间。

    image-20240311173442914

3.2 环境配置

​ 因为数据集代码有所变化,所以教程中有些步骤可以省略,以下为具体步骤。

  1. 解压代码及模型

    tar xf /gemini/data-1/stable-diffusion-webui.tar -C /gemini/code/ 
    
  2. 拷贝frpc内网穿透文件

    chmod +x /root/miniconda3/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2
    
  3. 拷贝模型文件到项目目录下

    cp /gemini/data-1/v1-5-pruned-emaonly.safetensors /gemini/code/stable-diffusion-webui/
    
  4. 更新系统httpx依赖

    pip install httpx==0.24.1
    
  5. 运行项目

    cd /gemini/code/stable-diffusion-webui && python launch.py --deepdanbooru --share --xformers --listen
    

    运行项目后,点击右侧添加,创建 外部访问链接

    1710149802068

  6. 访问StableDiffusion的WebUI

    复制外部访问链接,在浏览器粘贴并访问,就成功打开WebUI界面啦。

    1710149919322

  7. 生成镜像

    点击右上角 将当前环境制作为镜像,点击 智能生成,在 AUTOMATIC1111/stable-diffusion-webui 基础镜像下生成,点击 构建,完成对镜像的构建。

    image-20240311175121573

    之后安装上一章的步骤,将镜像配置到你的项目里就好啦。

配置好环境后,再次访问,在终端输入以下指令直接运行 WebUI 。

cd /gemini/code/stable-diffusion-webui && python launch.py --deepdanbooru --share --xformers --listen

3.3 StableDiffusion 使用

  1. 生成第一张美图

    部署好了当然是要生成一张图,我选择生成一张猫猫图,结果如下。

    image-20240312104308881

    ​ 库自带的模型是 v1-5-pruned-emaonly 模型,这个模型是官方的1.5 版本预训练模型,是在512*512的小尺寸图像上训练的,所以说如果图像尺寸超过1000的话,容易出现多头多人的情况。

    ​ 在这里我选择的参数与提示词如下:

    • 提示词(prompt)

      1 cat
      
    • 负面提示词(Negative prompt)

      out of frame,(worst quality, low quality, normal quality:2),text,bad eyes,weird eyes closed eyes,badhandv4:0.8,OverallDetail,render,bad quality,worst quality,signature,watermark,extra limbs,
      
    • 迭代步数(Steps)采样器(Sampler)提示词相关性(CFG scale)

      Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, 
      
    • 随机种子(Seed)图像尺寸(Size)模型(Model)

      Seed: 3052626755, Size: 384x512, Model hash: 6ce0161689, Model: v1-5-pruned-emaonly, Version: v1.6.0
      

    生成的猫猫图如下:

    img

  2. 批量生成

    我想要更多的猫猫图,于是增大了生成的 Batch CountBatch size,生成结果如下。

    image-20240312111137432

    可以看到一下生成了16张猫猫图,它实际上是分了两批,每批生成8张,这样生成的。Batch count 控制了生成批次的数量,Batch size 控制每批生成图片的数量。Batch size 越大对显卡显存要求越高,当然白嫖的24g显存不在话下了。

    img

    可以看到生成的图像各有千秋,甚至有的生成了个房子(太离谱了),所以选择合适的种子很重要。可以通过批量生成找到自己喜欢的图像风格的种子,固定下来进行进一步操作。

    我很喜欢第四张,大脸狸花猫,于是点开图片,可以在图片下方看到种子号 2617670965

    image-20240312112233897

  3. 图像放大

    我想放大刚才选中的大脸狸花猫图,可以通过固定种子,并通过 Hires fix 的方法放大生成图像。

    我想使用一个名为 R-ESRGAN4x 的放大算法,从云平台下载太慢了,选择从 该github链接 本地下载,并放在/gemini/code/stable-diffusion-webui/models/RealESRGAN/RealESRGAN_x4plus.pth路径下。

    设置以下参数,重新生成,结果如下。

    image-20240312113245064

    成功将图像尺寸放大到原来的两倍,即 768*1024 的尺寸。图像参数如下:

    1 cat
    Negative prompt: out of frame,(worst quality, low quality, normal quality:2),text,bad eyes,weird eyes closed eyes,badhandv4:0.8,OverallDetail,render,bad quality,worst quality,signature,watermark,extra limbs,
    Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2617670965, Size: 384x512, Model hash: 6ce0161689, Model: v1-5-pruned-emaonly, Denoising strength: 0.35, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+, Version: v1.6.0
    

    猫猫图如下:

    00019-2617670965

    效果还不错,不过我还想让他更清晰一点,于是选择让他放大4倍,结果如下。

    img

    可以看到,真的清晰了不少。

  4. 图生图

    图生图就是以给的图片为基准,生成其他的图片,我就像用刚才生成的猫猫图,来生成一个宇宙的星系,于是写了以下的提示词。

    stars,out space,galaxy,
    

    负面提示词不变,分两个批次生成16张星系图片,结果如下。

    image-20240312123732068

    可以看到,生成了具有猫猫形状的星系图案,我从中挑了一张最喜欢的,就是下面这张。

    img

    图片参数如下:

    stars,out space,galaxy,
    Negative prompt: out of frame,(worst quality, low quality, normal quality:2),text,bad eyes,weird eyes closed eyes,badhandv4:0.8,OverallDetail,render,bad quality,worst quality,signature,watermark,extra limbs,
    Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 3, Seed: 3318537879, Size: 768x1024, Model hash: 6ce0161689, Model: v1-5-pruned-emaonly, Denoising strength: 0.7, Version: v1.6.0
    

    以上就尝试玩SD的基本功能啦,之后可以再玩一些进阶玩法,用更厉害的模型,添加lora、ControlNet等插件,生成更可控好看的图片。

这篇关于【DataWhale学习】用免费GPU线上跑StableDiffusion项目实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/807070

相关文章

springboot项目中整合高德地图的实践

《springboot项目中整合高德地图的实践》:本文主要介绍springboot项目中整合高德地图的实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一:高德开放平台的使用二:创建数据库(我是用的是mysql)三:Springboot所需的依赖(根据你的需求再

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

SQLite3命令行工具最佳实践指南

《SQLite3命令行工具最佳实践指南》SQLite3是轻量级嵌入式数据库,无需服务器支持,具备ACID事务与跨平台特性,适用于小型项目和学习,sqlite3.exe作为命令行工具,支持SQL执行、数... 目录1. SQLite3简介和特点2. sqlite3.exe使用概述2.1 sqlite3.exe

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

SQL中JOIN操作的条件使用总结与实践

《SQL中JOIN操作的条件使用总结与实践》在SQL查询中,JOIN操作是多表关联的核心工具,本文将从原理,场景和最佳实践三个方面总结JOIN条件的使用规则,希望可以帮助开发者精准控制查询逻辑... 目录一、ON与WHERE的本质区别二、场景化条件使用规则三、最佳实践建议1.优先使用ON条件2.WHERE用

Springboot整合Redis主从实践

《Springboot整合Redis主从实践》:本文主要介绍Springboot整合Redis主从的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言原配置现配置测试LettuceConnectionFactory.setShareNativeConnect

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地