pytorch如何导入本地数据集(CIFAR10为例)——详细教程

2024-02-29 12:59

本文主要是介绍pytorch如何导入本地数据集(CIFAR10为例)——详细教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

pytorch导入本地数据集

  • 最近刚接触机器学习,发现运行别人的代码数据集每次都需要自动从外网下载,速度实在是太慢了!自己摸爬滚打了一天,最终自己下载了本地CIFAR10数据集,并且成功导入。

  • 数据集链接如下:如果失效私聊我即可

  • 链接:https://pan.baidu.com/s/1Tg1hOY8XqUL2Na5jwyP4WQ
    提取码:wgvx

  • 这里有一个特别要注意的点,就是下载的数据集一定要是正规的!就是不要别人那种已经解压好的,因为我们下载之后只需要修改名称即可。不能自己下载之后再压缩,他自己的压缩格式和我们的不一样!程序下载之后进行压缩会报错。

过程讲解

第一阶段

  • 首先就是将我们的数据集下载,然后随便放到一个文件夹中,但是注意这个文件夹的路径最好没有中文
    在这里插入图片描述
  • 这里我选择的路径是 I:\datasets
  • 之后我们需要在浏览器中打开这个路径
  • 在这里插入图片描述
  • 到此我们就先将此浏览器保持在这里,注意不要关闭

第二阶段

  • 我们需要找到我们安装pytorch包的目录中的torchvision包中,找到其中datasets中的cifar.py文件
  • 我这里由于使用的是anaconda 所以路径如下:
    在这里插入图片描述
  • 如果你没有使用anaconda,那么就找到安装python的路径,直接搜索cifar.py文件就可以轻松找到了
  • 之后我们修改cifar.py文件
  • 将我们刚刚打开浏览器的路径复制,并且后面加上我们下载的CIFAR10数据集的文件名,直接修改这个url的参数即可!
    在这里插入图片描述
    可能会出现的问题:
  • 我这里是将原来的注释掉了,我另起了一行 但是在运行的时候会报错,这个报错
    TabError: inconsistent use of tabs and spaces in indentation
  • 这是由于我们在修改的时候空格的地方其实没有空格导致的,可能是用了tab直接对齐!所以要将前面那些空格的地方全部删掉,然后自己打空格就好了!
  • 在网上还看到有人说直接用pycharm的代码重新格式,但是这样会导致代码原有格式变化,所以不要使用!

第三阶段

  • 此时我们就可以直接运行代码了 此时运行代码的时候会从我们刚刚指定的路径下进行下载压缩包,然后自动解压!
import torchvision
LOAD_CIFAR = True
DOWNLOAD_CIFAR = Truetrain_data = torchvision.datasets.CIFAR10(root='./data/',train=True,transform=torchvision.transforms.ToTensor(),download=DOWNLOAD_CIFAR,
)

结果如下:
在这里插入图片描述

这篇关于pytorch如何导入本地数据集(CIFAR10为例)——详细教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/758896

相关文章

使用Python实现调用API获取图片存储到本地的方法

《使用Python实现调用API获取图片存储到本地的方法》开发一个自动化工具,用于从JSON数据源中提取图像ID,通过调用指定API获取未经压缩的原始图像文件,并确保下载结果与Postman等工具直接... 目录使用python实现调用API获取图片存储到本地1、项目概述2、核心功能3、环境准备4、代码实现

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp

PyTorch中cdist和sum函数使用示例详解

《PyTorch中cdist和sum函数使用示例详解》torch.cdist是PyTorch中用于计算**两个张量之间的成对距离(pairwisedistance)**的函数,常用于点云处理、图神经网... 目录基本语法输出示例1. 简单的 2D 欧几里得距离2. 批量形式(3D Tensor)3. 使用不

Kali Linux安装实现教程(亲测有效)

《KaliLinux安装实现教程(亲测有效)》:本文主要介绍KaliLinux安装实现教程(亲测有效),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载二、安装总结一、下载1、点http://www.chinasem.cn击链接 Get Kali | Kal

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失

Java内存区域与内存溢出异常的详细探讨

《Java内存区域与内存溢出异常的详细探讨》:本文主要介绍Java内存区域与内存溢出异常的相关资料,分析异常原因并提供解决策略,如参数调整、代码优化等,帮助开发者排查内存问题,需要的朋友可以参考下... 目录一、引言二、Java 运行时数据区域(一)程序计数器(二)Java 虚拟机栈(三)本地方法栈(四)J

spring security 超详细使用教程及如何接入springboot、前后端分离

《springsecurity超详细使用教程及如何接入springboot、前后端分离》SpringSecurity是一个强大且可扩展的框架,用于保护Java应用程序,尤其是基于Spring的应用... 目录1、准备工作1.1 引入依赖1.2 用户认证的配置1.3 基本的配置1.4 常用配置2、加密1. 密

Python处理超大规模数据的4大方法详解

《Python处理超大规模数据的4大方法详解》在数据的奇妙世界里,数据量就像滚雪球一样,越变越大,从最初的GB级别的小数据堆,逐渐演变成TB级别的数据大山,所以本文我们就来看看Python处理... 目录1. Mars:数据处理界的 “变形金刚”2. Dask:分布式计算的 “指挥家”3. CuPy:GPU