将FER数据集使用Pickle处理-Python代码

2024-03-24 01:08

本文主要是介绍将FER数据集使用Pickle处理-Python代码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前写过一篇文章,是将FER2013数据集还原成灰度图像的Python代码,便于我们查看。

现在我想把它转换成pickle进行存储,这样便于读取和传输。

直接上代码就好了:

    def process_to_pickle(self):"""将csv文件加工成pickle文件,方便存储和读取:return: None"""# 创建文件夹if not os.path.exists(self.pickle_data_path): os.makedirs(self.pickle_data_path)# 读取csv数据with open(self.data_source) as f:train_x_data = []train_y_data = []test_x_data = []test_y_data = []validate_x_data = []validate_y_data = []# 打开文件夹data_csv = csv.reader(f)for (label, pixcels, usage) in data_csv:if usage == 'Training':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)train_x_data.append(I.tolist())train_y_data.append(label)elif usage == 'PrivateTest':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)test_x_data.append(I.tolist())test_y_data.append(label)elif usage == 'PublicTest':temp_list = []for pixel in pixcels.split():temp_list.append(pixel)I = np.asarray(temp_list)validate_x_data.append(I.tolist())validate_y_data.append(label)# 定义三个pickle文件train_pickle_file = open(os.path.join(self.pickle_data_path, 'train.txt'), 'wb')test_pickle_file = open(os.path.join(self.pickle_data_path, 'test.txt'), 'wb')validate_pickle_file = open(os.path.join(self.pickle_data_path, 'validate.txt'), 'wb')# 写入Picklepickle.dump(train_x_data, train_pickle_file)pickle.dump(train_y_data, train_pickle_file)pickle.dump(test_x_data, test_pickle_file)pickle.dump(test_y_data, test_pickle_file)pickle.dump(validate_x_data, validate_pickle_file)pickle.dump(validate_y_data, validate_pickle_file)# 关闭文件train_pickle_file.close()test_pickle_file.close()validate_pickle_file.close()logging.info(msg='Save data finish!')

这段代码可以直接放到我的之前的文章:点这里 。里面写了一个类,直接放到里面就能够使用。

如果代码里有错误,欢迎大家指正!!

 

这篇关于将FER数据集使用Pickle处理-Python代码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/840076

相关文章

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

C#中Guid类使用小结

《C#中Guid类使用小结》本文主要介绍了C#中Guid类用于生成和操作128位的唯一标识符,用于数据库主键及分布式系统,支持通过NewGuid、Parse等方法生成,感兴趣的可以了解一下... 目录前言一、什么是 Guid二、生成 Guid1. 使用 Guid.NewGuid() 方法2. 从字符串创建

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Spring Boot @RestControllerAdvice全局异常处理最佳实践

《SpringBoot@RestControllerAdvice全局异常处理最佳实践》本文详解SpringBoot中通过@RestControllerAdvice实现全局异常处理,强调代码复用、统... 目录前言一、为什么要使用全局异常处理?二、核心注解解析1. @RestControllerAdvice2

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)