机器学习必修课 - 使用管道 Pipeline

2023-10-07 05:01

本文主要是介绍机器学习必修课 - 使用管道 Pipeline,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目标:学习使用管道(pipeline)来提高机器学习代码的效率。

1. 运行环境:Google Colab

import pandas as pd
from sklearn.model_selection import train_test_split
!git clone https://github.com/JeffereyWu/Housing-prices-data.git
  • 下载数据集

2. 加载房屋价格数据集,进行数据预处理,并将数据划分为训练集和验证集

# Read the data
X_full = pd.read_csv('/content/Housing-prices-data/train.csv', index_col='Id')
X_test_full = pd.read_csv('/content/Housing-prices-data/test.csv', index_col='Id')# Remove rows with missing target, separate target from predictors
X_full.dropna(axis=0, subset=['SalePrice'], inplace=True)
y = X_full.SalePrice
X_full.drop(['SalePrice'], axis=1, inplace=True)# Break off validation set from training data
X_train_full, X_valid_full, y_train, y_valid = train_test_split(X_full, y, train_size=0.8, test_size=0.2,random_state=0)
  • 使用Pandas的read_csv函数从指定路径读取训练集和测试集的CSV文件。index_col='Id'表示将数据集中的’Id’列作为索引列。
  • X_full数据中删除了带有缺失目标值的行,这是因为目标值(‘SalePrice’)是我们要预测的值,所以必须确保每个样本都有一个目标值。然后,将目标值从X_full数据中分离出来,存储在变量y中,并从X_full中删除了目标值列,以便将其视为预测特征。

3. 选择具有相对低基数(唯一值数量较少)的分类(categorical)列

# "Cardinality" means the number of unique values in a column
# Select categorical columns with relatively low cardinality (convenient but arbitrary)
categorical_cols = [cname for cname in X_train_full.columns ifX_train_full[cname].nunique() < 10 and X_train_full[cname].dtype == "object"]
  • 识别具有相对较少不同类别的分类列,因为这些列更适合进行独热编码,而不会引入太多的新特征。

4. 选择数值型(numerical)列

# Select numerical columns
numerical_cols = [cname for cname in X_train_full.columns if X_train_full[cname].dtype in ['int64', 'float64']]
  • 识别数据集中包含数值数据的列,因为这些列通常用于构建数值特征,并且需要用于训练和评估数值型机器学习模型。

5. 将数据集中的列限制在所选的分类(categorical)列和数值(numerical)列上

# Keep selected columns only
my_cols = categorical_cols + numerical_cols
X_train = X_train_full[my_cols].copy()
X_valid = X_valid_full[my_cols].copy()
X_test = X_test_full[my_cols].copy()
  • 创建了一个名为my_cols的列表,其中包含了要保留的列名
  • 使用X_train_full[my_cols].copy()X_valid_full[my_cols].copy()从原始训练数据集(X_train_fullX_valid_full)中创建了新的数据集(X_trainX_valid)。这两个数据集只包含了my_cols中列名所对应的列,其他列被丢弃了。最后,同样的操作也被应用到测试数据集上,创建了包含相同列的测试数据集X_test
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error

6. 准备数值型数据和分类型数据以供机器学习模型使用

# Preprocessing for numerical data
numerical_transformer = SimpleImputer(strategy='constant')# Preprocessing for categorical data
categorical_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='most_frequent')),('onehot', OneHotEncoder(handle_unknown='ignore'))
])# Bundle preprocessing for numerical and categorical data
preprocessor = ColumnTransformer(transformers=[('num', numerical_transformer, numerical_cols),('cat', categorical_transformer, categorical_cols)])
  • 创建了一个名为numerical_transformer的预处理器,用于处理数值型数据。在这里,使用了SimpleImputer,并设置了策略为’constant’,表示将缺失的数值数据填充为一个常数值。
  • 使用SimpleImputer来填充缺失值,策略为’most_frequent’,表示使用出现频率最高的值来填充缺失的分类数据。
  • 使用OneHotEncoder来执行独热编码,将分类数据转换成二进制的形式,并且设置了handle_unknown='ignore',以处理在转换过程中遇到未知的分类值。
  • 使用ColumnTransformer来组合数值型和分类型数据的预处理器,将它们一起构建成一个整体的预处理过程。

7. 建立、训练和评估一个随机森林回归模型

# Define model
model = RandomForestRegressor(n_estimators=100, random_state=0)# Bundle preprocessing and modeling code in a pipeline
clf = Pipeline(steps=[('preprocessor', preprocessor),('model', model)])# Preprocessing of training data, fit model 
clf.fit(X_train, y_train)# Preprocessing of validation data, get predictions
preds = clf.predict(X_valid)print('MAE:', mean_absolute_error(y_valid, preds))
  • 创建了一个名为model的机器学习模型。在这里,使用了随机森林回归模型,它是一个基于决策树的集成学习模型,包含了100颗决策树,并设置了随机种子random_state为0,以确保结果的可重复性。
  • 创建了一个名为clf的机器学习管道(Pipeline)。管道将数据预处理步骤(preprocessor)和模型训练步骤(model)捆绑在一起,确保数据首先被预处理,然后再用于模型训练。
  • MAE是一种衡量模型预测误差的指标,其值越小表示模型的性能越好。

MAE: 17861.780102739725

8. 重新进行数据预处理和定义一个机器学习模型

# Preprocessing for numerical data
numerical_transformer = SimpleImputer(strategy='constant')# Preprocessing for categorical data
categorical_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='constant')),('onehot', OneHotEncoder(handle_unknown='ignore'))
])# Bundle preprocessing for numerical and categorical data
preprocessor = ColumnTransformer(transformers=[('num', numerical_transformer, numerical_cols),('cat', categorical_transformer, categorical_cols)])# Define model
model = RandomForestRegressor(n_estimators=100, random_state=0)
  • 使用SimpleImputer来填充分类型数据中的缺失值,策略改为’constant’,改用常数值填充。
# Bundle preprocessing and modeling code in a pipeline
my_pipeline = Pipeline(steps=[('preprocessor', preprocessor),('model', model)])# Preprocessing of training data, fit model 
my_pipeline.fit(X_train, y_train)# Preprocessing of validation data, get predictions
preds = my_pipeline.predict(X_valid)# Evaluate the model
score = mean_absolute_error(y_valid, preds)
print('MAE:', score)

MAE: 17621.3197260274

9. 再一次进行数据预处理和定义一个机器学习模型

# 自定义数值型数据的预处理步骤
numerical_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='mean')),  # 可以使用均值填充缺失值
])# 自定义分类型数据的预处理步骤
categorical_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='most_frequent')),  # 使用最频繁的值填充缺失值('onehot', OneHotEncoder(handle_unknown='ignore'))  # 执行独热编码
])# 定义自己的模型
model = RandomForestRegressor(n_estimators=200, random_state=42)  # 增加决策树数量,设置随机种子# 将自定义的预处理和模型捆绑在一起
clf = Pipeline(steps=[('preprocessor', preprocessor),('model', model)])# 预处理训练数据,训练模型
clf.fit(X_train, y_train)# 预处理验证数据,获取预测结果
preds = clf.predict(X_valid)print('MAE:', mean_absolute_error(y_valid, preds))

MAE: 17468.0611130137

# Preprocessing of test data, fit model
preds_test = clf.predict(X_test)
# Save test predictions to file
output = pd.DataFrame({'Id': X_test.index,'SalePrice': preds_test})
output.to_csv('submission.csv', index=False)

这篇关于机器学习必修课 - 使用管道 Pipeline的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/156183

相关文章

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

C++20管道运算符的实现示例

《C++20管道运算符的实现示例》本文简要介绍C++20管道运算符的使用与实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录标准库的管道运算符使用自己实现类似的管道运算符我们不打算介绍太多,因为它实际属于c++20最为重要的

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

ModelMapper基本使用和常见场景示例详解

《ModelMapper基本使用和常见场景示例详解》ModelMapper是Java对象映射库,支持自动映射、自定义规则、集合转换及高级配置(如匹配策略、转换器),可集成SpringBoot,减少样板... 目录1. 添加依赖2. 基本用法示例:简单对象映射3. 自定义映射规则4. 集合映射5. 高级配置匹

Spring 框架之Springfox使用详解

《Spring框架之Springfox使用详解》Springfox是Spring框架的API文档工具,集成Swagger规范,自动生成文档并支持多语言/版本,模块化设计便于扩展,但存在版本兼容性、性... 目录核心功能工作原理模块化设计使用示例注意事项优缺点优点缺点总结适用场景建议总结Springfox 是

嵌入式数据库SQLite 3配置使用讲解

《嵌入式数据库SQLite3配置使用讲解》本文强调嵌入式项目中SQLite3数据库的重要性,因其零配置、轻量级、跨平台及事务处理特性,可保障数据溯源与责任明确,详细讲解安装配置、基础语法及SQLit... 目录0、惨痛教训1、SQLite3环境配置(1)、下载安装SQLite库(2)、解压下载的文件(3)、