基于Python实践感知器分类算法

2024-04-15 02:58
文章标签 python 算法 实践 分类 感知器

本文主要是介绍基于Python实践感知器分类算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

       【翻译自： Perceptron Algorithm for Classification in Python】

      【说明：Jason Brownlee PhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】

  Perceptron是用于二进制分类任务的线性机器学习算法。它可以被认为是人工神经网络的第一种和最简单的类型之一。 绝对不是“深度”学习，而是重要的组成部分。与逻辑回归相似，它可以快速学习两类分类任务在特征空间中的线性分离，尽管与逻辑回归不同，它使用随机梯度下降优化算法学习并且不预测校准概率。

     在本教程中，您将发现Perceptron分类机器学习算法。完成本教程后，您将知道：

Perceptron分类器是一种线性算法，可以应用于二进制分类任务。
如何使用带有Scikit-Learn的Perceptron模型进行拟合，评估和做出预测。
如何在给定的数据集上调整Perceptron算法的超参数。

教程概述

     本教程分为3个部分，共三个部分。他们是：

感知器算法
Perceptron与Scikit-学习
音调感知器超参数

感知器算法

       Perceptron算法是两类（二进制）分类机器学习算法。它是一种神经网络模型，可能是最简单的神经网络模型类型。它由将一行数据作为输入并预测类标签的单个节点或神经元组成。这可以通过计算输入的加权和和偏差（设​​置为1）来实现。模型输入的加权总和称为激活。

      激活=权重*输入+偏差
     如果激活高于0.0，则模型将输出1.0；否则，模型将输出1.0。否则，将输出0.0。

     预测1：如果激活> 0.0
     预测0：如果激活<= 0.0
     假设输入已乘以模型系数，如线性回归和逻辑回归，则优良作法是在使用模型之前对数据进行标准化或标准化。感知器是线性分类算法。这意味着它将学习在特征空间中使用一条线（称为超平面）将两个类别分开的决策边界。因此，适用于那些类别可以通过线性或线性模型（称为线性可分离）很好地分离的问题。该模型的系数称为输入权重，并使用随机梯度下降优化算法进行训练。一次将来自训练数据集的示例显示给模型，模型进行预测并计算误差。然后，更新模型的权重以减少示例的误差。这称为Perceptron更新规则。对于训练数据集中的所有示例（称为时期）都重复此过程。然后，使用示例更新模型的过程会重复很多次。在每批中，使用较小比例的误差来更新模型权重，并且该比例由称为学习率的超参数控制，通常将其设置为较小的值。这是为了确保学习不会太快发生，从而导致技能水平可能较低，这被称为模型权重的优化（搜索）过程的过早收敛。

                                                             权重（t + 1）=权重（t）+学习率*（expected_i –预测值）* input_i
     当模型所产生的误差降至较低水平或不再改善时，或者执行了最大时期数时，训练将停止。

       模型权重的初始值设置为较小的随机值。另外，在每个训练纪元之前对训练数据集进行混洗。这是设计使然，以加速和改善模型训练过程。因此，学习算法是随机的，并且每次运行都会获得不同的结果。因此，优良作法是使用重复评估来总结算法在数据集上的性能，并报告平均分类精度。学习率和训练时期数是算法的超参数，可以使用启发式或超参数调整来设置。

      有关Perceptron算法的更多信息，请参见教程：

                                  如何从头开始在Python中实现感知器算法
      现在我们已经熟悉了Perceptron算法，现在让我们探索如何在Python中使用该算法。

Perceptron与Scikit-Learn

       可通过Perceptron类在scikit-learn Python机器学习库中使用Perceptron算法。该类允许您配置学习率（eta0），默认为1.0。

# define model
model = Perceptron(eta0=1.0)

      该实现还允许您配置训练时期的总数（max_iter），默认为1,000。

# define model
model = Perceptron(max_iter=1000)

     Perceptron算法的scikit-learn实现还提供了您可能想探索的其他配置选项，例如提前停止和使用惩罚损失。我们可以通过一个有效的示例来演示Perceptron分类器。首先，让我们定义一个综合分类数据集。我们将使用make_classification（）函数创建一个包含1,000个示例的数据集，每个示例包含20个输入变量。该示例创建并汇总了数据集。

# test classification dataset
from sklearn.datasets import make_classification
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# summarize the dataset
print(X.shape, y.shape)

       运行示例将创建数据集并确认数据集的行数和列数。

(1000, 10) (1000,)

       我们可以通过RepeatedStratifiedKFold类使用重复的分层k折交叉验证来拟合和评估Perceptron模型。 我们将在测试装置中使用10折和3次重复。

# create the model
model = Perceptron()

       下面列出了为综合二进制分类任务评估Perceptron模型的完整示例。

# evaluate a perceptron model on the dataset
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron()
# define model evaluation method
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
# evaluate model
scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1)
# summarize result
print('Mean Accuracy: %.3f (%.3f)' % (mean(scores), std(scores)))

      运行示例将在综合数据集上评估Perceptron算法，并报告10倍交叉验证的三个重复中的平均准确性。鉴于学习算法的随机性，您的具体结果可能会有所不同。 考虑运行该示例几次。在这种情况下，我们可以看到该模型实现了约84.7％的平均准确度。

Mean Accuracy: 0.847 (0.052)

     我们可能决定使用Perceptron分类器作为最终模型，并对新数据进行预测。这可以通过在所有可用数据上拟合模型管道并调用传递新数据行的predict（）函数来实现。我们可以通过下面列出的完整示例进行演示。

# make a prediction with a perceptron model on the dataset
from sklearn.datasets import make_classification
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron()
# fit model
model.fit(X, y)
# define new data
row = [0.12777556,-3.64400522,-2.23268854,-1.82114386,1.75466361,0.1243966,1.03397657,2.35822076,1.01001752,0.56768485]
# make a prediction
yhat = model.predict([row])
# summarize prediction
print('Predicted Class: %d' % yhat)

       运行示例将使模型适合模型并为新的数据行进行类标签预测。

Predicted Class: 1

       接下来，我们可以看一下配置模型的超参数。

调整感知器超参数

     必须为您的特定数据集配置Perceptron算法的超参数。也许最重要的超参数是学习率。较高的学习速度可能会使模型学习速度加快，但可能是以降低技能为代价的。 较小的学习率可以得到性能更好的模型，但是训练模型可能需要很长时间。您可以在本教程中了解有关探索学习率的更多信息：训练深度学习神经网络时如何配置学习率通常以较小的对数刻度（例如1e-4（或更小）和1.0）测试学习率。 在这种情况下，我们将测试以下值：

# define grid
grid = dict()
grid['eta0'] = [0.0001, 0.001, 0.01, 0.1, 1.0]

       下面的示例使用GridSearchCV类以及我们定义的值网格演示了这一点。

# grid search learning rate for the perceptron
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron()
# define model evaluation method
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
# define grid
grid = dict()
grid['eta0'] = [0.0001, 0.001, 0.01, 0.1, 1.0]
# define search
search = GridSearchCV(model, grid, scoring='accuracy', cv=cv, n_jobs=-1)
# perform the search
results = search.fit(X, y)
# summarize
print('Mean Accuracy: %.3f' % results.best_score_)
print('Config: %s' % results.best_params_)
# summarize all
means = results.cv_results_['mean_test_score']
params = results.cv_results_['params']
for mean, param in zip(means, params):print(">%.3f with: %r" % (mean, param))

     运行示例将使用重复的交叉验证来评估配置的每种组合。鉴于学习算法的随机性，您的具体结果可能会有所不同。 尝试运行该示例几次。在这种情况下，我们可以看到，学习率比默认值小会导致更好的性能，学习率0.0001和0.001均达到约85.7％的分类精度，而默认值1.0则达到约84.7％的精度。

Mean Accuracy: 0.857
Config: {'eta0': 0.0001}
>0.857 with: {'eta0': 0.0001}
>0.857 with: {'eta0': 0.001}
>0.853 with: {'eta0': 0.01}
>0.847 with: {'eta0': 0.1}
>0.847 with: {'eta0': 1.0}

       另一个重要的超参数是使用多少个时期来训练模型。这可能取决于训练数据集，并且可能相差很大。 同样，我们将以1到1e + 4的对数刻度探索配置值。

# define grid
grid = dict()
grid['max_iter'] = [1, 10, 100, 1000, 10000]

      我们将使用上次搜索中的良好学习率0.0001。

# define model
model = Perceptron(eta0=0.0001)

     下面列出了搜索训练时期数的网格的完整示例。

# grid search total epochs for the perceptron
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron(eta0=0.0001)
# define model evaluation method
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
# define grid
grid = dict()
grid['max_iter'] = [1, 10, 100, 1000, 10000]
# define search
search = GridSearchCV(model, grid, scoring='accuracy', cv=cv, n_jobs=-1)
# perform the search
results = search.fit(X, y)
# summarize
print('Mean Accuracy: %.3f' % results.best_score_)
print('Config: %s' % results.best_params_)
# summarize all
means = results.cv_results_['mean_test_score']
params = results.cv_results_['params']
for mean, param in zip(means, params):print(">%.3f with: %r" % (mean, param))

     运行示例将使用重复的交叉验证来评估配置的每种组合。鉴于学习算法的随机性，您的具体结果可能会有所不同。 尝试运行该示例几次。在这种情况下，我们可以看到从10到10,000的时间段，分类精度几乎相同。 一个有趣的例外是探索同时配置学习率和训练时期的数量，以查看是否可以获得更好的结果。

Mean Accuracy: 0.857
Config: {'max_iter': 10}
>0.850 with: {'max_iter': 1}
>0.857 with: {'max_iter': 10}
>0.857 with: {'max_iter': 100}
>0.857 with: {'max_iter': 1000}
>0.857 with: {'max_iter': 10000}

这篇关于基于Python实践感知器分类算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/904716。

相关文章

python panda库从基础到高级操作分析

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作：数据读取与查看3. 索引操作：精准定位数据4. Group
阅读更多...
Python pandas库自学超详细教程

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入（CSV/Excel等）、数据结构（Series、DataFrame）、数据清洗、转换... 目录一、什么是Pandas库（1）、Pandas 应用（2）、Pandas 功能（3）、数据结构二、安
阅读更多...
Spring Boot集成/输出/日志级别控制/持久化开发实践

Spring Boot集成/输出/日志级别控制/持久化开发实践

《SpringBoot集成/输出/日志级别控制/持久化开发实践》SpringBoot默认集成Logback,支持灵活日志级别配置（INFO/DEBUG等）,输出包含时间戳、级别、类名等信息,并可通过... 目录一、日志概述1.1、Spring Boot日志简介1.2、日志框架与默认配置1.3、日志的核心作用
阅读更多...
Python使用Tenacity一行代码实现自动重试详解

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门：一行代码实现优雅重试精细控制：让重试按我
阅读更多...
破茧 JDBC:MyBatis 在 Spring Boot 中的轻量实践指南

破茧 JDBC:MyBatis 在 Spring Boot 中的轻量实践指南

《破茧JDBC:MyBatis在SpringBoot中的轻量实践指南》MyBatis是持久层框架,简化JDBC开发,通过接口+XML/注解实现数据访问,动态代理生成实现类,支持增删改查及参数... 目录一、什么是 MyBATis二、 MyBatis 入门2.1、创建项目2.2、配置数据库连接字符串2.3、入
阅读更多...
Python安装Pandas库的两种方法

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一：cmd命令行执行pip install pandas方法二：找到pandas下载库，然后
阅读更多...
Python实现网格交易策略的过程

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略，其核心思想是在价格上下预设多个“网格”，当价格触发特定网格时执行买
阅读更多...
Python标准库之数据压缩和存档的应用详解

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile：专业级归档工具2.zipfile：跨平台归档首选3.
阅读更多...
使用Python构建智能BAT文件生成器的完美解决方案

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3
阅读更多...
Android Paging 分页加载库使用实践

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2