Pytorch实现表情识别卷积神经网络网络:mini_Xception

本文主要是介绍Pytorch实现表情识别卷积神经网络网络:mini_Xception,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文阅读总结:Real-time Convolutional Neural Networks for Emotion and Gender Classification–O Arriaga
复现代码地址:thgpddl/mini_Xception

首先,论文中没有给出网路结构等细节,使用官方代码中得到了,但是基本上都是常规的卷积、BN、ReLU等层。

1、网络结构

在这里插入图片描述

从结构上,主要分成base块,module1~4块、output块(即最后单独的conv操作)、GAP块和softmax块。:
下方展示了base块,module1~4块、output块的结构细节

mini_XCEPTION((base): Sequential((0): Conv2d(1, 8, kernel_size=(3, 3), stride=(1, 1))(1): BatchNorm2d(8, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU()(3): Conv2d(8, 8, kernel_size=(3, 3), stride=(1, 1))(4): BatchNorm2d(8, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(5): ReLU())(module1): RDWSC((left): Sequential((0): SeparableConv2d((depth_conv): Conv2d(8, 8, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=8)(point_conv): Conv2d(8, 16, kernel_size=(1, 1), stride=(1, 1)))(1): BatchNorm2d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU()(3): SeparableConv2d((depth_conv): Conv2d(16, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=16)(point_conv): Conv2d(16, 16, kernel_size=(1, 1), stride=(1, 1)))(4): BatchNorm2d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(5): MaxPool2d(kernel_size=(3, 3), stride=(2, 2), padding=1, dilation=1, ceil_mode=False))(right): Sequential((0): Conv2d(8, 16, kernel_size=(1, 1), stride=(2, 2))(1): BatchNorm2d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)))(module2): RDWSC((left): Sequential((0): SeparableConv2d((depth_conv): Conv2d(16, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=16)(point_conv): Conv2d(16, 32, kernel_size=(1, 1), stride=(1, 1)))(1): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU()(3): SeparableConv2d((depth_conv): Conv2d(32, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=32)(point_conv): Conv2d(32, 32, kernel_size=(1, 1), stride=(1, 1)))(4): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(5): MaxPool2d(kernel_size=(3, 3), stride=(2, 2), padding=1, dilation=1, ceil_mode=False))(right): Sequential((0): Conv2d(16, 32, kernel_size=(1, 1), stride=(2, 2))(1): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)))(module3): RDWSC((left): Sequential((0): SeparableConv2d((depth_conv): Conv2d(32, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=32)(point_conv): Conv2d(32, 64, kernel_size=(1, 1), stride=(1, 1)))(1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU()(3): SeparableConv2d((depth_conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=64)(point_conv): Conv2d(64, 64, kernel_size=(1, 1), stride=(1, 1)))(4): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(5): MaxPool2d(kernel_size=(3, 3), stride=(2, 2), padding=1, dilation=1, ceil_mode=False))(right): Sequential((0): Conv2d(32, 64, kernel_size=(1, 1), stride=(2, 2))(1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)))(module4): RDWSC((left): Sequential((0): SeparableConv2d((depth_conv): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=64)(point_conv): Conv2d(64, 128, kernel_size=(1, 1), stride=(1, 1)))(1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(2): ReLU()(3): SeparableConv2d((depth_conv): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), groups=128)(point_conv): Conv2d(128, 128, kernel_size=(1, 1), stride=(1, 1)))(4): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)(5): MaxPool2d(kernel_size=(3, 3), stride=(2, 2), padding=1, dilation=1, ceil_mode=False))(right): Sequential((0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2))(1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)))(conv): Conv2d(128, 7, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
)

GAP块:原理是用一个通道的均值代替整个通道,所以GAP只需要计算每个通道的均值即可,可以用以下操作实现:

# 此时x是output块的输出,shape=[None,7,3,3]
x=x.mean(axis=[-1,-2])
# 此时x是经过GAP后的输出,shape=[None,7],即变成了7维向量

softmax块:softmax是网络最后的操作,但是在代码编写时没有加入该操作,因为本文的Loss使用的是交叉熵损失,他内置了softmax操作,可以移步:paddle:使用CrossEntropyLoss作为loss,训练时loss不下降?,虽然链接中使用的是飞浆框架,但是原理上都一样。

总之,整个结构的构架在这里:mini_Xception/utils/Model.py

2、优化器

优化器使用了Adam,损失使用了交叉熵CrossEntropyLoss

3、数据增强

影响最终精度最显著的就是数据增强了。
先看看官方的数据增强:

data_generator = ImageDataGenerator(featurewise_center=False,featurewise_std_normalization=False,rotation_range=10,	# 随即旋转width_shift_range=0.1,	# 左右平移height_shift_range=0.1,	# 上下平移zoom_range=.1,	# 缩放horizontal_flip=True)	# 水平翻转

3.1、第一次的数据增强

官方代码使用的keras中数据增强的方法在pytorch不全部都有,所以第一次只是用了pytorch中有的数据增强,也即是

self.transform=transforms.Compose([ToTensor(),ColorJitter(brightness=0.2),	# 亮度增强RandomRotation(10),	# 随即旋转RandomHorizontalFlip(0.5)])	# 水平翻转

在该数据增强下,最终测试精度只有62%

3.2、第二次数据增强

第二次自己写了三种数据增强,然后和self.transform串联起来。

self.aug = Augment([Salt_Pepper_Noise(0.05),	# 椒盐噪声Width_Shift_Range(0.1),	 # 左右平移Height_Shift_Range(0.1)])	# 上下平移self.transform=transforms.Compose([ToTensor(),ColorJitter(brightness=0.2),RandomRotation(10),RandomHorizontalFlip(0.5)])

在该数据增强下,在epoch=200时,测试精度达到了0.6481;在epoch=370时,测试精度达到了0.6504

在这里插入图片描述
混淆矩阵的画法可以看:动手画混淆矩阵(Confusion Matrix)(含代码)

4、总结

  1. 在数据增强较少时,训练集精度较高,测试集精度在62%左右,判断是过拟合;增加了数据增强,训练集精度有下降,测试集精度达到了65%左右。
  2. 在对图像矩阵经行resize时,需要避免的坑是:
  • numpy.resize()是直接在边缘填充“0”,
  • cv2.resize()则是我们理解的插值进行的resize
    所以当我使用numpy.resize()将48*48变形到64*64后作为输入,测试精度只有50%,下滑极大。
    使用cv2.resize将48*48变形到64*64后作为输入,与用48*48作为输入最终的测试精度差别不大也在64%~65%之间。

这篇关于Pytorch实现表情识别卷积神经网络网络:mini_Xception的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/qq_40243750/article/details/124226066
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/380626

相关文章

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》:本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

c++ 类成员变量默认初始值的实现

《c++类成员变量默认初始值的实现》本文主要介绍了c++类成员变量默认初始值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录C++类成员变量初始化c++类的变量的初始化在C++中,如果使用类成员变量时未给定其初始值,那么它将被

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核