42、基于神经网络的训练堆叠自编码器进行图像分类(matlab)

2024-06-19 12:44
文章标签 进行 matlab 训练 图像 分类 42 神经网络 编码器 堆叠

本文主要是介绍42、基于神经网络的训练堆叠自编码器进行图像分类(matlab)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1、训练堆叠自编码器进行图像分类的原理及流程

基于神经网络的训练堆叠自编码器进行图像分类的原理和流程如下：

  1. 堆叠自编码器（Stacked Autoencoder）是一种无监督学习算法，由多个自编码器（Autoencoder）堆叠在一起构成。每个自编码器由一个编码器和一个解码器组成，用于学习数据的有效表示。

  2. 在图像分类任务中，首先将输入图像通过编码器部分提取特征，然后通过解码器将提取的特征重构为原始图像。通过重复此过程多次，可以逐渐提高模型对数据的表示能力。

  3. 堆叠自编码器的训练过程包括以下步骤：

    • 输入图像经过第一个编码器得到第一层的特征表示；
    • 将第一层的特征表示输入到第二个编码器中，再经过解码器重构为原始图像，得到第二层的特征表示；
    • 重复上述步骤直到所有的编码器和解码器都被训练完成。

  4. 训练堆叠自编码器的目标是最小化重构误差，即原始图像与重构图像之间的差异。通过反向传播算法来更新网络参数，使得重构误差最小化。

  5. 训练完成后，可以将堆叠自编码器的编码器部分作为特征提取器，将提取的特征输入到分类器中进行图像分类任务。

总的来说，基于神经网络的训练堆叠自编码器进行图像分类的流程是通过无监督学习训练多个自编码器，逐步从原始输入中提取特征，最终将提取的特征输入到分类器中进行图像分类任务。

2、 训练堆叠自编码器进行图像分类说明

说明1

具有多个隐含层的神经网络可用于处理复杂数据（例如图像）的分类问题。

每个层都可以学习不同抽象级别的特征。一种有效训练具有多个层的神经网络的方法是一次训练一个层。可以为每个所需的隐含层训练一种称为自编码器的特殊类型的网络。


说明2

训练具有两个隐含层的神经网络以对图像中的数字进行分类。首先，使用自编码器以无监督方式单独训练各隐含层。然后训练最终 softmax 层，并将这些层连接在一起形成堆叠网络，该网络最后以有监督方式进行训练。

3、数据集

说明

使用合成数据进行训练和测试。通过对使用不同字体创建的数字图像应用随机仿射变换来生成合成图像。
每个数字图像为 28×28 像素，共有 5000 个训练样本。可以加载训练数据，并查看其中一些图像。
图像的标签存储在一个 10×5000 矩阵中，其中每列都有一个元素为 1，指示该数字所属的类，该列中的所有其他元素为 0。请注意，如果第十个元素是 1，则数字图像是零。


1）加载训练数据到内存

代码

[xTrainImages,tTrain] = digitTrainCellArrayData;

2）展示训练图片

代码

clf
figure(1)
for i = 1:25subplot(5,5,i);imshow(xTrainImages{i});
end

试图效果

 4、训练第一个自编码器

说明

在不使用标签的情况下基于训练数据训练稀疏自编码器

自编码器是一种神经网络，该网络会尝试在其输出端复制其输入。因此，其输入的大小将与其输出的大小相同。当隐藏层中的神经元数量小于输入的大小时，自编码器将学习输入的压缩表示。神经网络在训练前具有随机初始化的权重。因此，每次训练的结果都不同。

1）显式设置随机数生成器种子

代码

rng('default')

2）设置自编码器的隐含层的大小。

说明：对于要训练的自编码器，最好使隐含层的大小小于输入大小。

代码

hiddenSize1 = 100;

 3）训练的自编码器的类型是稀疏自编码器

说明：该自编码器使用正则项来学习第一层中的稀疏表示。可以设置各种参数来控制这些正则项的影响：

L2WeightRegularization 控制 L2 正则项对网络权重（而不是偏置）的影响。这通常应该非常小。
SparsityRegularization 控制稀疏正则项的影响，该正则项会尝试对隐含层的输出的稀疏性施加约束。请注意，这与将稀疏正则项应用于权重不同。
SparsityProportion 是稀疏正则项的参数。它控制隐含层的输出的稀疏性。较SparsityProportion 值通常导致只为少数训练样本提供高输出，从而使隐藏层中的每个神经元“专门化”。例如，如果 SparsityProportion 设置为 0.1，这相当于说隐藏层中的每个神经元针对训练样本的平均输出值应该为 0.1。此值必须介于 0 和 1 之间。理想值因问题的性质而异。


现在训练自编码器，指定上述正则项的值代码

autoenc1 = trainAutoencoder(xTrainImages,hiddenSize1, ...'MaxEpochs',400, ...'L2WeightRegularization',0.004, ...'SparsityRegularization',4, ...'SparsityProportion',0.15, ...'ScaleData', false);
view(autoenc1)

 视图效果

说明：自编码器由一个编码器和一个解码器组成。编码器将输入映射为隐含表示，解码器则尝试进行逆映射以重新构造原始输入。


 

 5、可视化第一个自编码器的权重

说明

自编码器的编码器部分所学习的映射可用于从数据中提取特征。编码器中的每个神经元都具有一个与之相关联的权重向量，该向量将进行相应调整以响应特定可视化特征。您可以查看这些特征的表示。
自编码器学习的特征代表了数字图像中的弯曲和笔划图案。
自编码器的隐含层的 100 维输出是输入的压缩版本，它汇总了对上面可视化的特征的响应。基于从训练数据中提取的一组向量训练下一个自编码器。首先，必须使用经过训练的自编码器中的编码器生成特征。


代码

figure(2)
plotWeights(autoenc1);
feat1 = encode(autoenc1,xTrainImages);

视图效果

 6、训练第二个自编码器

说明

以相似的方式训练第二个自编码器。主要区别在于使用从第一个自编码器生成的特征作为第二个自编码器中的训练数据。此外，您还需要将隐含表示的大小减小到 50，以便第二个自编码器中的编码器学习输入数据的更小表示。


代码

hiddenSize2 = 50;
autoenc2 = trainAutoencoder(feat1,hiddenSize2, ...'MaxEpochs',100, ...'L2WeightRegularization',0.002, ...'SparsityRegularization',4, ...'SparsityProportion',0.1, ...'ScaleData', false);
%使用 view 函数查看自编码器的图。
view(autoenc2)

视图效果

 将前一组特征传递给第二个自编码器中的编码器，以此提取第二组特征

说明：训练数据中的原始向量具有 784 个维度。原始数据通过第一个编码器后，维度减小到 100 维。应用第二个编码器后，维度进一步减小到 50 维。您现在可以训练最终层，以将这些 50 维向量分类为不同的数字类。

代码

feat2 = encode(autoenc2,feat1);

7、 训练最终 softmax 层

说明

训练 softmax 层以对 50 维特征向量进行分类。与自编码器不同，您将使用训练数据的标签以有监督方式训练 softmax 层。

代码

%说明：训练 softmax 层以对 50 维特征向量进行分类。与自编码器不同，您将使用训练数据的标签以有监督方式训练 softmax 层。
softnet = trainSoftmaxLayer(feat2,tTrain,'MaxEpochs',400);
%view 函数查看 softmax 层的图。
view(softnet)

视图效果


 

8、 形成堆叠神经网络

说明

已单独训练了组成堆叠神经网络的三个网络。可以查看已经过训练的三个神经网络 autoenc1、autoenc2 和 softnet。

1）形成用于分类的堆叠网络

代码

自编码器中的编码器已用于提取特征。可以将自编码器中的编码器与 softmax 层堆叠在一起，以形成用于分类的堆叠网络。
stackednet = stack(autoenc1,autoenc2,softnet);
% view 函数查看堆叠网络的图。该网络由自编码器中的编码器和 softmax 层构成。
view(stackednet)

视图效果

 2）基于测试集计算结果

说明：基于测试集计算结果。要将图像用于堆叠网络，必须将测试图像重构为矩阵。这可以通过先堆叠图像的各列以形成向量，然后根据这些向量形成矩阵来完成。


代码

% 获取图片像素
imageWidth = 28;
imageHeight = 28;
inputSize = imageWidth*imageHeight;
% 加载测试图片
[xTestImages,tTest] = digitTestCellArrayData;% 堆叠图像的各列以形成向量，然后根据这些向量形成矩阵
xTest = zeros(inputSize,numel(xTestImages));
for i = 1:numel(xTestImages)xTest(:,i) = xTestImages{i}(:);
end
%使用混淆矩阵来可视化结果。矩阵右下角方块中的数字表示整体准确度。
y = stackednet(xTest);
plotconfusion(tTest,y);

视图效果

9、  微调堆叠神经网络

说明

通过对整个多层网络执行反向传播，可以改进堆叠神经网络的结果。此过程通常称为微调。通过以有监督方式基于训练数据重新训练网络来微调网络。将训练图像重构为矩阵，就像对测试图像所做的那样。


1）堆叠图像的各列以形成向量，然后根据这些向量形成矩阵

代码

xTrain = zeros(inputSize,numel(xTrainImages));
for i = 1:numel(xTrainImages)xTrain(:,i) = xTrainImages{i}(:);
end

2）微调执行

代码

stackednet = train(stackednet,xTrain,tTrain);

3） 使用混淆矩阵再次查看结果

代码

y = stackednet(xTest);
plotconfusion(tTest,y);

视图效果 

10、总结 

在Matlab中基于神经网络的训练堆叠自编码器进行图像分类可以按照以下步骤进行：

  1. 数据准备：准备图像数据集，并对图像进行预处理，如缩放、归一化等操作。

  2. 构建自编码器模型：使用Matlab的深度学习工具箱（Deep Learning Toolbox）构建堆叠自编码器模型。根据需要的深度，堆叠多个自编码器，每个自编码器包括编码器和解码器部分。

  3. 定义训练参数：设置训练参数，包括学习率、迭代次数、优化器等。

  4. 训练模型：使用训练数据集对堆叠自编码器模型进行训练，通过计算重构误差来更新模型参数。

  5. 特征提取：训练完成后，提取编码器部分作为特征提取器，对数据进行特征提取。

  6. 构建分类器：使用Matlab内置的分类器算法（如支持向量机、K近邻等）或者构建深度学习的分类器模型，将提取的特征输入到分类器中进行图像分类。

  7. 模型评估：使用测试数据集对训练好的模型进行评估和性能测试，评估模型的准确率、召回率等指标。

总的来说，在Matlab中进行基于神经网络的训练堆叠自编码器进行图像分类的流程包括数据准备、模型构建、训练、特征提取、分类器构建和模型评估等步骤。通过这个过程，可以实现图像分类任务并得到准确的分类结果。

11、源代码

代码

%% 训练堆叠自编码器进行图像分类
%说明：具有多个隐含层的神经网络可用于处理复杂数据（例如图像）的分类问题。每个层都可以学习不同抽象级别的特征。
%一种有效训练具有多个层的神经网络的方法是一次训练一个层。可以为每个所需的隐含层训练一种称为自编码器的特殊类型的网络。
%说明：训练具有两个隐含层的神经网络以对图像中的数字进行分类。首先，使用自编码器以无监督方式单独训练各隐含层。然后训练最终 softmax 层，
%并将这些层连接在一起形成堆叠网络，该网络最后以有监督方式进行训练。
%% 数据集
%说明：使用合成数据进行训练和测试。通过对使用不同字体创建的数字图像应用随机仿射变换来生成合成图像。
%每个数字图像为 28×28 像素，共有 5000 个训练样本。可以加载训练数据，并查看其中一些图像。
%图像的标签存储在一个 10×5000 矩阵中，其中每列都有一个元素为 1，指示该数字所属的类，该列中的所有其他元素为 0。请注意，如果第十个元素是 1，则数字图像是零。
% 加载训练数据到内存
[xTrainImages,tTrain] = digitTrainCellArrayData;
% 展示训练图片
clf
figure(1)
for i = 1:25subplot(5,5,i);imshow(xTrainImages{i});
end
%% 训练第一个自编码器
%说明：在不使用标签的情况下基于训练数据训练稀疏自编码器
%自编码器是一种神经网络，该网络会尝试在其输出端复制其输入。因此，其输入的大小将与其输出的大小相同。当隐藏层中的神经元数量小于输入的大小时，自编码器将学习输入的压缩表示。
%神经网络在训练前具有随机初始化的权重。因此，每次训练的结果都不同。
%显式设置随机数生成器种子。
rng('default')
%设置自编码器的隐含层的大小。对于要训练的自编码器，最好使隐含层的大小小于输入大小。
hiddenSize1 = 100;
%训练的自编码器的类型是稀疏自编码器。该自编码器使用正则项来学习第一层中的稀疏表示。可以设置各种参数来控制这些正则项的影响：
%L2WeightRegularization 控制 L2 正则项对网络权重（而不是偏置）的影响。这通常应该非常小。
%SparsityRegularization 控制稀疏正则项的影响，该正则项会尝试对隐含层的输出的稀疏性施加约束。请注意，这与将稀疏正则项应用于权重不同。
%SparsityProportion 是稀疏正则项的参数。它控制隐含层的输出的稀疏性。较低的 SparsityProportion 值通常导致只为少数训练样本提供高输出，从而使隐藏层中的每个神经元“专门化”。例如，如果 SparsityProportion 设置为 0.1，这相当于说隐藏层中的每个神经元针对训练样本的平均输出值应该为 0.1。此值必须介于 0 和 1 之间。理想值因问题的性质而异。
%现在训练自编码器，指定上述正则项的值。
autoenc1 = trainAutoencoder(xTrainImages,hiddenSize1, ...'MaxEpochs',400, ...'L2WeightRegularization',0.004, ...'SparsityRegularization',4, ...'SparsityProportion',0.15, ...'ScaleData', false);
%自编码器由一个编码器和一个解码器组成。编码器将输入映射为隐含表示，解码器则尝试进行逆映射以重新构造原始输入。
view(autoenc1)
%% 可视化第一个自编码器的权重
%自编码器的编码器部分所学习的映射可用于从数据中提取特征。编码器中的每个神经元都具有一个与之相关联的权重向量，该向量将进行相应调整以响应特定可视化特征。您可以查看这些特征的表示。
%自编码器学习的特征代表了数字图像中的弯曲和笔划图案。
%自编码器的隐含层的 100 维输出是输入的压缩版本，它汇总了对上面可视化的特征的响应。基于从训练数据中提取的一组向量训练下一个自编码器。首先，必须使用经过训练的自编码器中的编码器生成特征。
figure(2)
plotWeights(autoenc1);
feat1 = encode(autoenc1,xTrainImages);
%% 训练第二个自编码器
%说明：以相似的方式训练第二个自编码器。主要区别在于使用从第一个自编码器生成的特征作为第二个自编码器中的训练数据。此外，您还需要将隐含表示的大小减小到 50，以便第二个自编码器中的编码器学习输入数据的更小表示。
hiddenSize2 = 50;
autoenc2 = trainAutoencoder(feat1,hiddenSize2, ...'MaxEpochs',100, ...'L2WeightRegularization',0.002, ...'SparsityRegularization',4, ...'SparsityProportion',0.1, ...'ScaleData', false);
%使用 view 函数查看自编码器的图。
view(autoenc2)
%将前一组特征传递给第二个自编码器中的编码器，以此提取第二组特征。
feat2 = encode(autoenc2,feat1);
%训练数据中的原始向量具有 784 个维度。原始数据通过第一个编码器后，维度减小到 100 维。应用第二个编码器后，维度进一步减小到 50 维。您现在可以训练最终层，以将这些 50 维向量分类为不同的数字类。
%% 训练最终 softmax 层
%说明：训练 softmax 层以对 50 维特征向量进行分类。与自编码器不同，您将使用训练数据的标签以有监督方式训练 softmax 层。
softnet = trainSoftmaxLayer(feat2,tTrain,'MaxEpochs',400);
%view 函数查看 softmax 层的图。
view(softnet)
%% 形成堆叠神经网络
%已单独训练了组成堆叠神经网络的三个网络。可以查看已经过训练的三个神经网络 autoenc1、autoenc2 和 softnet。
view(autoenc1)
view(autoenc2)
view(softnet)
%自编码器中的编码器已用于提取特征。可以将自编码器中的编码器与 softmax 层堆叠在一起，以形成用于分类的堆叠网络。
stackednet = stack(autoenc1,autoenc2,softnet);
% view 函数查看堆叠网络的图。该网络由自编码器中的编码器和 softmax 层构成。
view(stackednet)
%基于测试集计算结果。要将图像用于堆叠网络，必须将测试图像重构为矩阵。这可以通过先堆叠图像的各列以形成向量，然后根据这些向量形成矩阵来完成。
% 获取图片像素
imageWidth = 28;
imageHeight = 28;
inputSize = imageWidth*imageHeight;
% 加载测试图片
[xTestImages,tTest] = digitTestCellArrayData;% 堆叠图像的各列以形成向量，然后根据这些向量形成矩阵
xTest = zeros(inputSize,numel(xTestImages));
for i = 1:numel(xTestImages)xTest(:,i) = xTestImages{i}(:);
end
%使用混淆矩阵来可视化结果。矩阵右下角方块中的数字表示整体准确度。
y = stackednet(xTest);
plotconfusion(tTest,y);
%% 微调堆叠神经网络
%说明：通过对整个多层网络执行反向传播，可以改进堆叠神经网络的结果。此过程通常称为微调。
%通过以有监督方式基于训练数据重新训练网络来微调网络。将训练图像重构为矩阵，就像对测试图像所做的那样。
% 堆叠图像的各列以形成向量，然后根据这些向量形成矩阵
xTrain = zeros(inputSize,numel(xTrainImages));
for i = 1:numel(xTrainImages)xTrain(:,i) = xTrainImages{i}(:);
end
% 微调执行
stackednet = train(stackednet,xTrain,tTrain);
% 使用混淆矩阵再次查看结果。
y = stackednet(xTest);
plotconfusion(tTest,y);

这篇关于42、基于神经网络的训练堆叠自编码器进行图像分类(matlab)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1075062。

相关文章

Nginx中配置使用非默认80端口进行服务的完整指南

Nginx中配置使用非默认80端口进行服务的完整指南

《Nginx中配置使用非默认80端口进行服务的完整指南》在实际生产环境中,我们经常需要将Nginx配置在其他端口上运行,本文将详细介绍如何在Nginx中配置使用非默认端口进行服务,希望对大家有所帮助... 目录一、为什么需要使用非默认端口二、配置Nginx使用非默认端口的基本方法2.1 修改listen指令
阅读更多...
MySQL按时间维度对亿级数据表进行平滑分表

MySQL按时间维度对亿级数据表进行平滑分表

《MySQL按时间维度对亿级数据表进行平滑分表》本文将以一个真实的4亿数据表分表案例为基础,详细介绍如何在不影响线上业务的情况下,完成按时间维度分表的完整过程,感兴趣的小伙伴可以了解一下... 目录引言一、为什么我们需要分表1.1 单表数据量过大的问题1.2 分表方案选型二、分表前的准备工作2.1 数据评估
阅读更多...
MySQL进行分片合并的实现步骤

MySQL进行分片合并的实现步骤

《MySQL进行分片合并的实现步骤》分片合并是指在分布式数据库系统中,将不同分片上的查询结果进行整合,以获得完整的查询结果,下面就来具体介绍一下,感兴趣的可以了解一下... 目录环境准备项目依赖数据源配置分片上下文分片查询和合并代码实现1. 查询单条记录2. 跨分片查询和合并测试结论分片合并（Shardin
阅读更多...
SpringBoot结合Knife4j进行API分组授权管理配置详解

SpringBoot结合Knife4j进行API分组授权管理配置详解

《SpringBoot结合Knife4j进行API分组授权管理配置详解》在现代的微服务架构中,API文档和授权管理是不可或缺的一部分,本文将介绍如何在SpringBoot应用中集成Knife4j,并进... 目录环境准备配置 Swagger配置 Swagger OpenAPI自定义 Swagger UI 底
阅读更多...
基于Python Playwright进行前端性能测试的脚本实现

基于Python Playwright进行前端性能测试的脚本实现

《基于PythonPlaywright进行前端性能测试的脚本实现》在当今Web应用开发中,性能优化是提升用户体验的关键因素之一,本文将介绍如何使用Playwright构建一个自动化性能测试工具,希望... 目录引言工具概述整体架构核心实现解析1. 浏览器初始化2. 性能数据收集3. 资源分析4. 关键性能指
阅读更多...
Nginx进行平滑升级的实战指南(不中断服务版本更新)

Nginx进行平滑升级的实战指南(不中断服务版本更新)

《Nginx进行平滑升级的实战指南(不中断服务版本更新)》Nginx的平滑升级（也称为热升级）是一种在不停止服务的情况下更新Nginx版本或添加模块的方法,这种升级方式确保了服务的高可用性,避免了因升... 目录一.下载并编译新版Nginx1.下载解压2.编译二.替换可执行文件，并平滑升级1.替换可执行文件
阅读更多...
Python进行JSON和Excel文件转换处理指南

Python进行JSON和Excel文件转换处理指南

《Python进行JSON和Excel文件转换处理指南》在数据交换与系统集成中,JSON与Excel是两种极为常见的数据格式,本文将介绍如何使用Python实现将JSON转换为格式化的Excel文件,... 目录将 jsON 导入为格式化 Excel将 Excel 导出为结构化 JSON处理嵌套 JSON：
阅读更多...
一文解密Python进行监控进程的黑科技

一文解密Python进行监控进程的黑科技

《一文解密Python进行监控进程的黑科技》在计算机系统管理和应用性能优化中,监控进程的CPU、内存和IO使用率是非常重要的任务,下面我们就来讲讲如何Python写一个简单使用的监控进程的工具吧... 目录准备工作监控CPU使用率监控内存使用率监控IO使用率小工具代码整合在计算机系统管理和应用性能优化中，监
阅读更多...
如何使用Lombok进行spring 注入

如何使用Lombok进行spring 注入

《如何使用Lombok进行spring注入》本文介绍如何用Lombok简化Spring注入,推荐优先使用setter注入,通过注解自动生成getter/setter及构造器,减少冗余代码,提升开发效... Lombok为了开发环境简化代码，好处不用多说。spring 注入方式为2种，构造器注入和setter
阅读更多...
基于Python开发一个图像水印批量添加工具

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计（扩展版本）二、核心算法深入解析2.1 自
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2