【深度学习】S1 预备知识 P2 数据预处理

2024-02-13 07:20

本文主要是介绍【深度学习】S1 预备知识 P2 数据预处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 准备工作
  • 创建数据集
  • 读取数据集
  • 处理缺失值
    • 处理连续数据缺失值
    • 处理离散数据缺失值
  • 转换为张量格式

在应用深度学习技术解决实际问题时,数据的预处理步骤至关重要。在 Python 的各种数据分析工具中,我们选择了 pandas 库来进行这一工作,因为它能与张量兼容。在本篇博文中,我们将概述如何使用 pandas 对原始数据进行预处理,并将其转换成张量格式。


准备工作

本节博文通过调用 Python Pandas 库实现操作,需要读者预安装完成 Pandas 包:

conda install pandas
pip install pandas

创建数据集

如果读者没有初始数据集,可以通过 write 函数创建 csv 数据集。

import osos.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n')f.write('NA,Pave,127500\n')f.write('2,NA,106000\n')f.write('4,NA,178100\n')f.write('NA,NA,140000\n')

读取数据集

读取数据集,我们通过导入 pandas 并调用 read_csv 函数。上述数据集 house_tiny.csv 有四行三列,其中每行描述了房间数量 (NumRooms) ,巷子类型 (Alley) 以及房间价格 (Price);

import os
import pandas as pddata_file = os.path.join('..', 'data', 'house_tiny.csv')
data = pd.read_csv(data_file)
print(data)
   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

至此,我们已经成功读取到了数据集 house_tiny.csv 中的数据。然而在读取到的结果中,我们注意到存在大量的 NaN 值,这些值代表着数据的缺失。下面将阐述数据缺失的处理办法。


处理缺失值

处理数据缺失的常见方法包括插值法和数据删除法。在插值法中,我们会用一个估计的数值来填补缺失的数据,其中一种常见的插值策略是利用周围非缺失数据的平均值来估计缺失值。然而,处理连续数据和离散数据的缺失值时,我们需要采用不同的策略。

处理连续数据缺失值

首先,以及房间数量(NumRooms)为例,我们将利用周围非缺失数据的平均值来估计缺失值。在这里,我们使用 mean() 函数。

numRooms = data.iloc[:, 0]
print(numRooms)
numRooms = numRooms.fillna(numRooms.mean())
print(numRooms)
0    NaN
1    2.0
2    4.0
3    NaN
Name: NumRooms, dtype: float64
0    3.0
1    2.0
2    4.0
3    3.0
Name: NumRooms, dtype: float64

处理离散数据缺失值

在对离散数据处理缺失值时,我们将 NaN 视作一个独立的类别。以“巷子类型”(Alley)为例,这一列只有两种可能的值:“Pave” 和 NaN。

借助 pandas 库,我们可以把这个列拆分成两列:“Pave” 和 “NaN”。在拆分后的两列中,如果巷子类型是 “Pave”,那么 “Pave” 列的值为 1,而 “NaN” 列的值为 0 ;如果巷子类型是 NaN,则反之。

为了实现这一点,我们使用了 get_dummies() 函数,并通过设置 dummy_na 参数来决定是否创建一个代表 NaN 的额外列。

alley = data.iloc[:, 1]
print(alley)
alley = pd.get_dummies(alley, dummy_na=True)
print(alley)
0    Pave
1     NaN
2     NaN
3     NaN
Name: Alley, dtype: objectPave    NaN
0   True  False
1  False   True
2  False   True
3  False   True

如上,我们将数据集 house_tiny.csv 中缺失的连续数据(房间数量)、离散数据(巷子类型)处理完成。


转换为张量格式

在对数据集处理完缺失值后,我们将其转换成张量格式。

完整代码如下:

import os
import pandas as pd
import torchdata_file = os.path.join('..', 'data', 'house_tiny.csv')
data = pd.read_csv(data_file)inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
# print(inputs, outputs)
inputs['NumRooms'] = inputs['NumRooms'].fillna(inputs['NumRooms'].mean())
inputs['Alley'] = pd.get_dummies(inputs['Alley'], dummy_na=False)
# print(inputs)
X = torch.tensor(inputs.to_numpy(dtype=float))
y = torch.tensor(outputs.to_numpy(dtype=float))\print(X)
print(y)
tensor([[3., 1.],[2., 0.],[4., 0.],[3., 0.]], dtype=torch.float64)
tensor([127500., 106000., 178100., 140000.], dtype=torch.float64)

至此,我们使用 pandas 对原始数据进行预处理,读取数据集,处理缺失值;最后,将其转换为张量格式。


此上,如有任何为题,请留言或者联系,谢谢~

2024.2.12

这篇关于【深度学习】S1 预备知识 P2 数据预处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/704856

相关文章

解决mysql插入数据锁等待超时报错:Lock wait timeout exceeded;try restarting transaction

《解决mysql插入数据锁等待超时报错:Lockwaittimeoutexceeded;tryrestartingtransaction》:本文主要介绍解决mysql插入数据锁等待超时报... 目录报错信息解决办法1、数据库中执行如下sql2、再到 INNODB_TRX 事务表中查看总结报错信息Lock

使用C#删除Excel表格中的重复行数据的代码详解

《使用C#删除Excel表格中的重复行数据的代码详解》重复行是指在Excel表格中完全相同的多行数据,删除这些重复行至关重要,因为它们不仅会干扰数据分析,还可能导致错误的决策和结论,所以本文给大家介绍... 目录简介使用工具C# 删除Excel工作表中的重复行语法工作原理实现代码C# 删除指定Excel单元

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创

Nacos日志与Raft的数据清理指南

《Nacos日志与Raft的数据清理指南》随着运行时间的增长,Nacos的日志文件(logs/)和Raft持久化数据(data/protocol/raft/)可能会占用大量磁盘空间,影响系统稳定性,本... 目录引言1. Nacos 日志文件(logs/ 目录)清理1.1 日志文件的作用1.2 是否可以删除

使用Python获取JS加载的数据的多种实现方法

《使用Python获取JS加载的数据的多种实现方法》在当今的互联网时代,网页数据的动态加载已经成为一种常见的技术手段,许多现代网站通过JavaScript(JS)动态加载内容,这使得传统的静态网页爬取... 目录引言一、动态 网页与js加载数据的原理二、python爬取JS加载数据的方法(一)分析网络请求1

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

Spring Boot 整合 Redis 实现数据缓存案例详解

《SpringBoot整合Redis实现数据缓存案例详解》Springboot缓存,默认使用的是ConcurrentMap的方式来实现的,然而我们在项目中并不会这么使用,本文介绍SpringB... 目录1.添加 Maven 依赖2.配置Redis属性3.创建 redisCacheManager4.使用Sp

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失

Python处理超大规模数据的4大方法详解

《Python处理超大规模数据的4大方法详解》在数据的奇妙世界里,数据量就像滚雪球一样,越变越大,从最初的GB级别的小数据堆,逐渐演变成TB级别的数据大山,所以本文我们就来看看Python处理... 目录1. Mars:数据处理界的 “变形金刚”2. Dask:分布式计算的 “指挥家”3. CuPy:GPU

Spring Boot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)

《SpringBoot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)》:本文主要介绍SpringBoot拦截器Interceptor与过滤器Filter深度解析... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现与实