PyTorch中定义自己的数据集

2024-05-09 16:20
文章标签 pytorch 定义 数据

本文主要是介绍PyTorch中定义自己的数据集，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 1. 简介
    • 2. 查看PyTorch自带的数据集(可视化)
    • 3. 准备材料
      • 3.1 图片数据
      • 3.2 标签数据
    • 4. 方法

1. 简介

尽管PyTorch提供了许多自带的数据集，如MNIST、CIFAR-10、ImageNet等，但它们对于没有经验的用户来说，理解数据加载器的工作原理以及如何正确地配置数据加载器可能会有一定难度。 用户需要了解所使用的数据集，包括数据集的内容、结构、标签等信息。对于一些复杂的数据集，用户可能需要理解数据集的结构和标签的含义。通过定义自己的数据集类，您可以更好地控制数据的加载和处理过程，提高代码的灵活性、可读性和可维护性，同时更好地满足模型训练的需求。

2. 查看PyTorch自带的数据集(可视化)

为了更好的定义自己的数据集，我们首先查看PyTorch自带的数据集的内容，代码如下

# 导入所需的库
import matplotlib.pyplot as plt  # 导入Matplotlib库，用于可视化
import torch  # 导入PyTorch库
from torchvision.datasets import MNIST  # 从torchvision中导入MNIST数据集
from torchvision import transforms  # 导入transforms模块，用于数据预处理
import numpy as np  # 导入NumPy库# 加载MNIST数据集
train_mnist_data = MNIST(root='./data',  # 数据集存储路径train=True,  # 加载训练集transform=transforms.Compose([transforms.Resize(size=(28, 28)), transforms.ToTensor()]),  # 数据预处理操作download=True)  # 如果数据集不存在，则自动下载# 设置要显示的样本数量
num_samples = 10# 创建包含多个子图的大图窗口
fig, axes = plt.subplots(1, num_samples, figsize=(10, 6))# 遍历选择要显示的样本
for i in range(num_samples):# 从数据集中获取图像数据和标签image, label = train_mnist_data[i]# 在子图中显示图像axes[i].imshow(image.squeeze().numpy(), cmap='gray')  # 使用imshow函数显示图像，将张量转换为NumPy数组axes[i].set_title(f"Label: {label}")  # 设置子图标题，显示图像对应的标签axes[i].axis('off')  # 关闭坐标轴显示# 将图像保存为PNG格式的图片文件，文件名以图像的标签命名plt.imsave(f"./data/mnist_images/{label}.png", image.squeeze().numpy(), cmap='gray')# 显示图形窗口
plt.show()

这里，我们使用MNIST类加载MNIST数据集。在加载数据集时，通过transform参数指定了数据预处理操作，包括将图像大小调整为28x28像素，并将图像转换为张量。train=True表示加载训练集，download=True表示如果数据集不存在则自动下载到指定的路径。

接下来，我们选择一些样本进行可视化。我们在一个子图中显示了10个样本，每个样本对应一个数字图像和其对应的标签。通过循环遍历这些样本，从数据集中获取图像数据和标签，并使用Matplotlib的imshow()函数将图像显示在子图中。
在这里插入图片描述

同时，使用imsave()函数将每个图像保存为PNG格式的图片文件，文件名以标签命名。最后，使用plt.show()显示图形窗口，显示图像的同时也会将图像保存到指定的路径中。这段代码的执行结果是显示10张MNIST数据集中的数字图像，并将这些图像保存到指定路径下。保存的图片如下所示

在这里插入图片描述

通过上面程序可以看到，数据集主要是由图片数据和对应的标签构成，那么我们就可以用这两个主要构成成分来构建自己的数据集。

3. 准备材料

3.1 图片数据

这里我们就用刚才保存的十张图片，即

在这里插入图片描述

当然，你也可以准备其它的图片，并给图片分别命名为“0.png, 1.png, …”。

这里，十张图片的相对路径为

imgs_path = "./data/mnist_images"

注：你们要根据自己存储的路径来给定。

3.2 标签数据

创建一个txt文件，为每一幅图片指定标签数据，如下所示

在这里插入图片描述

这里，txt文件的相对路径为

labels_path = "labels.txt"

4. 方法

在PyTorch中，您可以通过创建一个自定义的数据集类来定义自己的数据集。这个自定义类需要继承自torch.utils.data.Dataset类，并且实现两个主要的方法：__len__ 和 __getitem__。__len__方法应该返回数据集的长度，而__getitem__方法则根据给定的索引返回数据集中的样本。

下面我们展示如何创建一个自定义的数据集类：

import os  # 导入os模块，用于操作文件路径
from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
import torch  # 导入PyTorch库
from torch.utils.data import Dataset  # 从torch.utils.data模块导入Dataset类，用于定义自定义数据集
from torchvision import transforms  # 导入transforms模块，用于数据预处理
import numpy as np  # 导入NumPy库，用于数值处理
import matplotlib.pyplot as plt  # 导入Matplotlib库，用于可视化class CustomDataset(Dataset):def __init__(self, image_dir, label_file, transform=None):super().__init__()  # 调用父类的构造函数self.image_dir = image_dir  # 图像数据的路径self.label_file = label_file  # 标签文本的路径self.transform = transform  # 数据预处理操作self.samples = self._load_samples()  # 加载数据集样本信息def _load_samples(self):samples = []  # 存储样本信息的列表with open(self.label_file, 'r') as f:  # 打开标签文本文件for line in f:  # 逐行读取标签文本文件中的内容image_name, label = line.strip().split(',')  # 根据逗号分隔每行内容，获取图像文件名和标签image_path = os.path.join(self.image_dir, image_name)  # 拼接图像文件的完整路径samples.append((image_path, int(label)))  # 将图像路径和标签组成元组，加入样本列表return samples  # 返回样本列表def __len__(self):return len(self.samples)  # 返回数据集样本的数量def __getitem__(self, index):image_path, label = self.samples[index]  # 获取指定索引处的图像路径和标签image = Image.open(image_path).convert('L')  # 打开图像文件并将其转换为灰度图像if self.transform:  # 如果定义了数据预处理操作image = self.transform(image)  # 对图像进行预处理操作return image, label  # 返回预处理后的图像和标签# 设置图片数据路径和标签文本路径
image_dir = './data/mnist_images'  # 图像数据的路径
label_file = 'labels.txt'  # 标签文本的路径# 定义数据预处理操作，根据需要添加其他预处理操作
transform = transforms.Compose([transforms.Resize((28, 28)),  # 调整图像大小transforms.ToTensor(),  # 将图像转换为张量
])# 创建自定义数据集实例
custom_dataset = CustomDataset(image_dir, label_file, transform=transform)# 创建数据加载器
data_loader = torch.utils.data.DataLoader(custom_dataset, batch_size=1, shuffle=False)# 遍历数据加载器中的每个批次数据
for batch_images, batch_labels in data_loader:# 使用squeeze()函数去除图像张量中的单维度，将图像数据转换为NumPy数组，并存储在变量image中image = batch_images.squeeze().numpy()# 使用imshow()函数显示图像，cmap='gray'指定使用灰度色彩映射plt.imshow(image, cmap='gray')# 设置图像标题，显示图像对应的标签，使用f-string格式化字符串，将batch_labels转换为Python标量并获取其值plt.title(f"Label: {batch_labels.item()}")# 关闭坐标轴显示，即不显示坐标轴plt.axis('off')# 显示图形窗口plt.show()

这段代码实现了加载自定义数据集，并使用 PyTorch 的 DataLoader 将数据加载成批次，然后逐批次地展示图像。

这篇关于PyTorch中定义自己的数据集的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/973886。

相关文章

MySql删除重复数据只保留最小id的那条数据。某某公司的临时面试题

MySql删除重复数据只保留最小id的那条数据。某某公司的临时面试题

错误代码： DELETE FROMpayment WHEREserial IN ( SELECT serial FROM payment GROUP BY serial HAVING count(*) > 1 ) AND id NOT IN ( SELECT min( id ) AS id FROM payment GROUP BY serial HAVING count( serial )
阅读更多...
在android的同一个wifi局域网下，利用socket与多个手机进行数据的收发

在android的同一个wifi局域网下，利用socket与多个手机进行数据的收发

前言： 在这里强调局域网，是因为内网之间的设备通信时，无需经过外网，若想内网的设备能够与外网进行通信，可自行百度其解决办法... 虽说利用wifi，实质是怎么利用socket来进行通信的问题 步骤一：编写服务端和客户端的代码 服务端代码(MainActivity.java)： package com.example.dai.wifiserver;import android
阅读更多...
Jquery 实现表单提交按钮变灰，防止多次点击提交重复数据

Jquery 实现表单提交按钮变灰，防止多次点击提交重复数据

表单提交时候我们应该控制提交按钮，不能点击多次进行数据的重复提交。要不然就会有冗余的重复的数据在系统中，造成系统出现数据垃圾。jQuery很简单的就可以实现对表单提交按钮控制，下面就是相关的例子和代码。 <form action="${pageContext.servletContext.contextPath}/XXX/###" method="post" id="messag
阅读更多...
javaweb—jstl如何循环List中的Map数据

javaweb—jstl如何循环List中的Map数据

第一种方式： 1：后台代码（测试） List<Map<String, Object>> list = new ArrayList<Map<String,Object>>();Map<String, Object> map = null;for (int i = 0; i < 4; i++) {map = new HashMap<String, Object>();map.put("id",
阅读更多...
spring boot中数据验证validated的使用

spring boot中数据验证validated的使用

前言 spring-boot中在Controller层里面可以用@validated来校验数据再进入业务逻辑层，如果数据异常则会统一抛出异常，方便异常中心统一处理。 比如，我们判断一个输入的用户名长度限制以及密码的正则验证. 使用流程 1.Controller层数据使用@validated注解 @PostMapping("/userLogin")@ResponseBodypublic
阅读更多...
Pytorch中的梯度下降及优化

Pytorch中的梯度下降及优化

在PyTorch中使用Mini-batch这种方法进行训练 Mini-batch的梯度下降法 对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候处理速度会很慢，而且也不可能一次的载入到内存或者显存中 所以我们会把大数据集分成小数据集，一部分一部分的训练，这个训练子集即称为Mini-b
阅读更多...
Pytorch中的损失函数Loss Function

Pytorch中的损失函数Loss Function

由于Pytorch中使用mini-batch进行计算，因此其损失函数的计算结果会对mini-batch取平均 常见的Pytorch中内置的损失函数有： nn.L1Loss 计算input与output的差的绝对值，input与output应该是同一维度，得到的loss也是相应维度 nn.NLLLoss Negative Log Likelihood class torch.n
阅读更多...
Pytorch_linear

Pytorch_linear

Linear 对输入数据应用线性变换：y = xA^T + b torch.nn.Linear(in_features, out_features, bias=True) 参数 in_features 每个输入样本的大小out_features 每个输出样本的大小bias 若为False，layer不会学习附加偏差b shape 输入: (N, ∗, H_in)，其中 ∗ 代表任意
阅读更多...
Pytorch_torchvision

Pytorch_torchvision

torchvision.datasets 这其中所有的数据集都是torch.utils.data.Dataset的子类，它们都具有__getitem__和__len__实现的方法。因此，它们都可以传递给torch.utils.data.DataLoader，它使用torch.multiprocessing并行加载多个样本。 torchvision.transforms 其中都是常见的图像转换
阅读更多...
Pytorch_nn.Conv2d

Pytorch_nn.Conv2d

Conv2d torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') in_channels 输入数据通道数out_channels 输出数据通道数kennel_size 卷积核大小，i
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2