前馈(向)网络之卷积神经网络的应用

2024-03-11 17:58

本文主要是介绍前馈(向)网络之卷积神经网络的应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图像识别:

卷积神经网络(CNN)

分类任务:C个类别

输入:图片,           

输出:类别标签,         

评估准则:准确率

图像识别与定位

输入:图片,         

输出:物体边界框(x,y,w,h)   

评估准则:交并准则

交并准则是预测值与真实值的交集的面积除去并集的面积,值大于0.5通常会认为是有效的定位

图像识别+定位:识别主体+定位

思路1:当作回归

当成一个回归的任务来解决定位的问题,识别问题就是一个分类任务

回归任务损失函数就是均方误差(MSE),分类任务损失函数用交叉熵损失!

step1:解决分类问题,搭建一个识别图像的神经网络(CNN),

step2:将卷积神经网络的尾部展开构建一个分类模块和回归模块,

因为卷积层,池化层是特征的抽取,激励层就是分线性变换,可以在尾部确定自己的任务!

step3:回归模块使用均方误差,在利用SGD进行学习,分类模块类似!

step4:预测阶段把两个模块拼接上,分别进行处理,

回归模块最后加在哪里?可以是最终的卷积层之后,可以是全连接层之后

对主体有更好的识别?规定好有k个组个成部分,做k个部分的回归即可

应用1:识别人的姿势?

每个人的组成部分是相同的,可以对k个关节做回归预测,然后再来进行姿势分类的问题!

思路2:借助图像窗口

类似刚才的回归,分类网络的思路,现在取所有大小不同的框,让框出现在不同的位置(这样的搜索太暴力了,会很慢),判定得分,按照得分高低对结果框做抽取和合并(策略:抽取一个框在根据分类的score得到框向哪边伸展更好,类似启发式的一种搜索框)

问题:用回归得分的过程,由于有全连接会变得很慢!

窗口的复用选择(优化):

用多层卷积层代替全连接层,引入可复用的小卷积核来进行回归/分类!

 

物体检测(实现还是使用tensorflow实现好的一套流程

边缘检测/选择性搜索----->R-CNN

选择性搜索候选框。来达到整个图片的所有物体的识别!

例如:N只猫

首先:对图片的像素点做一个自底向上的聚类(针对像素维度的分类),生成很多的候选集!

R-CNN

step1:构建一个卷积神经网络,自己做一个全连接层的修改,构建自己的任务目标

step2:对所有候选集用卷积层和池化层进行训练,取出第五个池化层的特征存储到硬盘上,然后做一个分类任务比如:使用SVM来进行分类

step3:bbox regression 回归得到滑窗位置的调整(方向的移动,缩放等等....)

问题:对所有子图单独送入神经网络抽取特征太耗费时间

R-CNN------->Fast R-CNN

对R-CNN的优化:

改进1:共享图窗,对卷积层进行一次前向计算,通过反卷积一定可以从第五层的池化层找到一些数值对应原图的某个区域,那么我就不需要对每个候选集都进行特征提取!

改进2:对SVM分类和Bbox reg回归用全连接层接上 逻辑回归和线性回归 变为 神经网络的多任务学习,只需要对损失函数log loss 和 MSE 加权 进行一个比例的调整即可!

改进3:Region of Interest Pooling(RIP)前两种改进只能对同比例大小图片进行处理,对于维度不同的子图,可以进行下采样的方法,把子图全都映射到一个比例大小上,策略:对图片的维度进行画格子变为指定维度的图片,然后对每个格子进行池化!不就可以了嘛!

对比图:

Fast R-CNN------->Faster-CNN

Fast R-CNN的问题:主要速度限制在子图候选集上(是用聚类来生成的,我能不能用神经网络来生成?)因为聚类是CPU来做的嘛,无法使用GPU加速!(适合于大型的矩阵运算和图像渲染...)

通过神经网络,RPN(Region Proposal Network)生成子图,

生成子图的策略:在图片上,取不同的中心点以不同的比例,不同的大小生成不同的候选集!比如:3个不同大小的比例,每个比例对应3个不同大小的候选框!(正方形,横的长方形,纵的长方形)

总结:two-stage的一个方法,一个stage是挑选候选框,另一个是对候选框做一个分类看是否有物体,做一个回归看候选框如何调整才好!

YOLO/SSD

Faster用于实时的检测场景中,也要7fps,是不够的,就此引出YOLO/SSD实时算法!

一步走(one-stage)算法:直接对输入图像应用算法并输出类别和相应的定位(YOLO系列)

策略:对图片进行画格子,然后确定B个中心点,每个中心点确定几个不同比例的子图,把他当成候选集,送入神经网络里然后进行训练!

 

图像分割中的语义分割

只对每个像素距离区域,进行预测类别,只关注像素的意思这就是头牛,而不管它的其他含义(比如几头什么什么样的牛......)

对像素点(pixel)维度去做分类的一个任务!

1.滑窗处理

类似于R-CNN的思路,还可以加上对应的优化的思路,就是这样!(不光可以用在物体检测,还可以用在语义分割上

2.全卷积神经网络

输入3*H*W维度的图像,经过卷积层处理,可以构建一个C个类别的Score:C*H*W的矩阵,输出得分类别最大的一个H*W维度的矩阵!(对像素点维度去做一个分类)

总结:全卷积网络所有的层都为卷积层!

但是会有一个问题,图片现在的精度很高,直接进行处理,很难去训练出来模型,所以需要优化!

3.下采样和上采样

下采样不难理解,因为你的池化层和卷积层就是做的这样的一个事情,所以说是可以做的,但是上采样呢?

上采样一般叫为转置卷积(Transpose Convolution)/反卷积

 

这篇关于前馈(向)网络之卷积神经网络的应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/798592

相关文章

PyTorch中的词嵌入层(nn.Embedding)详解与实战应用示例

《PyTorch中的词嵌入层(nn.Embedding)详解与实战应用示例》词嵌入解决NLP维度灾难,捕捉语义关系,PyTorch的nn.Embedding模块提供灵活实现,支持参数配置、预训练及变长... 目录一、词嵌入(Word Embedding)简介为什么需要词嵌入?二、PyTorch中的nn.Em

Spring Boot3.0新特性全面解析与应用实战

《SpringBoot3.0新特性全面解析与应用实战》SpringBoot3.0作为Spring生态系统的一个重要里程碑,带来了众多令人兴奋的新特性和改进,本文将深入解析SpringBoot3.0的... 目录核心变化概览Java版本要求提升迁移至Jakarta EE重要新特性详解1. Native Ima

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA

nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析(结合应用场景)

《nginx-t、nginx-sstop和nginx-sreload命令的详细解析(结合应用场景)》本文解析Nginx的-t、-sstop、-sreload命令,分别用于配置语法检... 以下是关于 nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析,结合实际应

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

Java MQTT实战应用

《JavaMQTT实战应用》本文详解MQTT协议,涵盖其发布/订阅机制、低功耗高效特性、三种服务质量等级(QoS0/1/2),以及客户端、代理、主题的核心概念,最后提供Linux部署教程、Sprin... 目录一、MQTT协议二、MQTT优点三、三种服务质量等级四、客户端、代理、主题1. 客户端(Clien

CSS中的Static、Relative、Absolute、Fixed、Sticky的应用与详细对比

《CSS中的Static、Relative、Absolute、Fixed、Sticky的应用与详细对比》CSS中的position属性用于控制元素的定位方式,不同的定位方式会影响元素在页面中的布... css 中的 position 属性用于控制元素的定位方式,不同的定位方式会影响元素在页面中的布局和层叠关