diffusers 使用脚本导入自定义数据集

2024-06-07 18:04

本文主要是介绍diffusers 使用脚本导入自定义数据集,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在训练扩散模型时,如果附加额外的条件图片数据,则需要我们准备相应的数据集。此时我们可以使用官网提供的脚本模板来控制导入我们需要的数据。

您可以参考官方的教程来实现具体的功能需求,为了更加简洁,我将简单描述一下整个流程的关键点:

  1. 首先按照您的需求准备好所有的数据集文件,统一放到一个dataset_name(可以自己定义)目录下,可以划分多个子文件夹,但是需要在您的matadata.json中描述好相对路径位置;这一步和平时准备数据集的过程一样,只是多了额外的条件图片数据。
  2. 在dataset_name下创建同名的dataset_name.py脚本文件,该脚本文件的类名要和脚本名一致,并复制下文的模板内容,然后修改特定位置:
import pandas as pd
from huggingface_hub import hf_hub_url
import datasets
import os_VERSION = datasets.Version("0.0.2")_DESCRIPTION = "TODO"
_HOMEPAGE = "TODO"
_LICENSE = "TODO"
_CITATION = "TODO"_FEATURES = datasets.Features({"image": datasets.Image(),"conditioning_image": datasets.Image(),"text": datasets.Value("string"),},
)METADATA_URL = hf_hub_url("fusing/fill50k",filename="train.jsonl",repo_type="dataset",
)IMAGES_URL = hf_hub_url("fusing/fill50k",filename="images.zip",repo_type="dataset",
)CONDITIONING_IMAGES_URL = hf_hub_url("fusing/fill50k",filename="conditioning_images.zip",repo_type="dataset",
)_DEFAULT_CONFIG = datasets.BuilderConfig(name="default", version=_VERSION)class Fill50k(datasets.GeneratorBasedBuilder):BUILDER_CONFIGS = [_DEFAULT_CONFIG]DEFAULT_CONFIG_NAME = "default"def _info(self):return datasets.DatasetInfo(description=_DESCRIPTION,features=_FEATURES,supervised_keys=None,homepage=_HOMEPAGE,license=_LICENSE,citation=_CITATION,)def _split_generators(self, dl_manager):metadata_path = dl_manager.download(METADATA_URL)images_dir = dl_manager.download_and_extract(IMAGES_URL)conditioning_images_dir = dl_manager.download_and_extract(CONDITIONING_IMAGES_URL)return [datasets.SplitGenerator(name=datasets.Split.TRAIN,# These kwargs will be passed to _generate_examplesgen_kwargs={"metadata_path": metadata_path,"images_dir": images_dir,"conditioning_images_dir": conditioning_images_dir,},),]def _generate_examples(self, metadata_path, images_dir, conditioning_images_dir):metadata = pd.read_json(metadata_path, lines=True)for _, row in metadata.iterrows():text = row["text"]image_path = row["image"]image_path = os.path.join(images_dir, image_path)image = open(image_path, "rb").read()conditioning_image_path = row["conditioning_image"]conditioning_image_path = os.path.join(conditioning_images_dir, row["conditioning_image"])conditioning_image = open(conditioning_image_path, "rb").read()yield row["image"], {"text": text,"image": {"path": image_path,"bytes": image,},"conditioning_image": {"path": conditioning_image_path,"bytes": conditioning_image,},}
  1. 修改时主要关注两个函数,和一些命名:
  • 第一个是_split_generators(),把所有download相关的内容注释掉,这里会让你去下载官方的数据集,我们的需求是准备自己的数据集,所以为了方便直接把这个函数中的关键文件路径改为自己的绝对路径,比如metadata_path,就是你的metadata.json的路径,images_dir和conditioning_images_dir是你的图片的上级目录的绝对路径。这里我曾经测试过使用相对路径,发现是行不通的,主要的问题是diffuers在项目运行时会把当前的脚本先拷贝到c盘,然后再加载入内存,所以相对路径会不起作用。
  • 第二个是_generate_examples(),我们需要按照上个函数给出的路径依次加载图片文件和文本,这里主要是把所有的数据集内容修改为你需要的信息。这里有个关键点是,你必须保证metadata.json中第一列image的内容是不重复的,因为该列会作为索引的key值出现,否则会报错。
  • 最后是把脚本中所有与数据集信息相关的名称校对为你需要的。

在训练过程中,指定好数据集dataset_name的位置,diffusers会自动调用dataset_name.py来读取数据集中的数据。

这篇关于diffusers 使用脚本导入自定义数据集的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1039900

相关文章

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

nginx启动命令和默认配置文件的使用

《nginx启动命令和默认配置文件的使用》:本文主要介绍nginx启动命令和默认配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录常见命令nginx.conf配置文件location匹配规则图片服务器总结常见命令# 默认配置文件启动./nginx

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程:安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

Windows下C++使用SQLitede的操作过程

《Windows下C++使用SQLitede的操作过程》本文介绍了Windows下C++使用SQLite的安装配置、CppSQLite库封装优势、核心功能(如数据库连接、事务管理)、跨平台支持及性能优... 目录Windows下C++使用SQLite1、安装2、代码示例CppSQLite:C++轻松操作SQ

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,:本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

Python中help()和dir()函数的使用

《Python中help()和dir()函数的使用》我们经常需要查看某个对象(如模块、类、函数等)的属性和方法,Python提供了两个内置函数help()和dir(),它们可以帮助我们快速了解代... 目录1. 引言2. help() 函数2.1 作用2.2 使用方法2.3 示例(1) 查看内置函数的帮助(

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删