2. Pytorch入门教程——创建Cifar10 Pytorch数据集

2024-05-14 00:08

本文主要是介绍2. Pytorch入门教程——创建Cifar10 Pytorch数据集,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我们使用一个很经典的数据集Cifar10,而该数据集可以直接通过Pytorch内置函数获取到。

一、导入所需的库

import torch ## pytorch
import torchvision ## 迁移学习模型和许多其他视觉相关类
from torch import nn ## Pytorch核心神经网络模型类
from torch import optim ## 包含几个Pytorch优化器类
import torch.nn.functional as F ## 包含几个Pytorch提供的实用函数from torchvision import datasets, transforms, models ## 对于数据集和变换的一些计算机视觉相关类
from torch.utils.data import * ## 包含几个数据操作的实用函数
from PIL import Image
import numpy as np

二、创建CIFAR10 Pytorch数据集

  • 从torchvision下载CIFAR10训练集和测试集;
  • 首先设置train=True,表明我们下载训练集。然后设为False来下载测试集;
  • 设置download=True,由于我们是第一次获取这个数据集。因此,它将首先从CIFAR10类中预先指定的URL下载。
  • 在首次运行这个cell,成功的下载数据集后,应该改变为False来避免每次下载;
  • 以下操作的结果将是两个数据集对象,分别表示CIFAR10训练集和测试集。
train_dataset = datasets.CIFAR10('Cifar10', train=True,download=True)test_dataset = datasets.CIFAR10('Cifar10', train=False,download=True)

这里有两个来自torchvision.datasets.cifar的数据集对象。这是Pytorch的Dataset类的一个子类,Dataset是表示任何数据集的主类。这个特殊的类表示存储在其内部数据结构中的CIFAR10数据。稍后,这些对象将被传递给一个Pytorch Dataloader对象(稍后解释)来处理这些图像。

我们可以验证两个数据集的长度(图像的数量)

len(train_dataset),len(test_dataset)

(50000, 10000)
如上所示,我们分别有50000张图片的训练集和10000张图片的测试集。

二、张量(Tensors)快速介绍

张量是一种表示单个类型(整数或浮点数等)的n维数据对象的通用方式。例如:

  • 一个单值(整型或者浮点值)是一个0维张量;
  • 一个有N个元素的数组是一维张量;
  • 一个有M行N列的矩阵是一个二维张量(MxN);
  • 用三个矩阵表示的三个RGB(红,绿,蓝)颜色通道的MxN图像是一个三维张量(3xMxN); 图像张量包含在dataset对象中的字段train_data。让我们来看看代表一个图像张量的形状。
train_dataset.data[0].shape

(32, 32, 3)
说明我们的图片大小为3通道32x32,让我们用matplotlib.plyplot模块查看图片

%matplotlib inline
import matplotlib.pyplot as plt
plt.imshow(train_dataset.data[100])

在这里插入图片描述
这似乎是艘船,由于分辨率低(32x32),图片非常模糊

这篇关于2. Pytorch入门教程——创建Cifar10 Pytorch数据集的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/987196

相关文章

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp

PyTorch中cdist和sum函数使用示例详解

《PyTorch中cdist和sum函数使用示例详解》torch.cdist是PyTorch中用于计算**两个张量之间的成对距离(pairwisedistance)**的函数,常用于点云处理、图神经网... 目录基本语法输出示例1. 简单的 2D 欧几里得距离2. 批量形式(3D Tensor)3. 使用不

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失

Python处理超大规模数据的4大方法详解

《Python处理超大规模数据的4大方法详解》在数据的奇妙世界里,数据量就像滚雪球一样,越变越大,从最初的GB级别的小数据堆,逐渐演变成TB级别的数据大山,所以本文我们就来看看Python处理... 目录1. Mars:数据处理界的 “变形金刚”2. Dask:分布式计算的 “指挥家”3. CuPy:GPU

使用Vue-ECharts实现数据可视化图表功能

《使用Vue-ECharts实现数据可视化图表功能》在前端开发中,经常会遇到需要展示数据可视化的需求,比如柱状图、折线图、饼图等,这类需求不仅要求我们准确地将数据呈现出来,还需要兼顾美观与交互体验,所... 目录前言为什么选择 vue-ECharts?1. 基于 ECharts,功能强大2. 更符合 Vue

Java如何根据word模板导出数据

《Java如何根据word模板导出数据》这篇文章主要为大家详细介绍了Java如何实现根据word模板导出数据,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... pom.XML文件导入依赖 <dependency> <groupId>cn.afterturn</groupId>

Python实现获取带合并单元格的表格数据

《Python实现获取带合并单元格的表格数据》由于在日常运维中经常出现一些合并单元格的表格,如果要获取数据比较麻烦,所以本文我们就来聊聊如何使用Python实现获取带合并单元格的表格数据吧... 由于在日常运维中经常出现一些合并单元格的表格,如果要获取数据比较麻烦,现将将封装成类,并通过调用list_exc

Mysql数据库中数据的操作CRUD详解

《Mysql数据库中数据的操作CRUD详解》:本文主要介绍Mysql数据库中数据的操作(CRUD),详细描述对Mysql数据库中数据的操作(CRUD),包括插入、修改、删除数据,还有查询数据,包括... 目录一、插入数据(insert)1.插入数据的语法2.注意事项二、修改数据(update)1.语法2.有

PyTorch高级特性与性能优化方式

《PyTorch高级特性与性能优化方式》:本文主要介绍PyTorch高级特性与性能优化方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、自动化机制1.自动微分机制2.动态计算图二、性能优化1.内存管理2.GPU加速3.多GPU训练三、分布式训练1.分布式数据