前馈网络及反向传播

2024-04-03 03:18
文章标签 网络 传播 反向 前馈

本文主要是介绍前馈网络及反向传播,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文主要介绍多层感知器模型(MLP),它也可以看成是一种logister回归,输入层通过非线性转换,即通过隐含层把输入投影到线性可分的空间中。

如果我们在中间加一层神经元作为隐含层,则它的结构如下图所示

    单隐层的MLP定义了一个映射: ,其中 D和L为输入向量和输出向量f(x)的大小。

    隐含层与输出层神经元的值通过激活函数计算出来,例如下图:如果我们选用sigmoid作为激活函数,输入设为x,要求出隐含层的激活值a,公式如下。其中 。

    同理输出的h(x)可以用同样的公式得到,上述过程就是向前传导,因为这种联接图没有闭环或回路。

    我们可以用反向传播法(backpropagation)来训练上面这个神经网络。下面主要介绍backpropation算法。

    假设对于单个样例(x,y),它的代价函数(cost function)为

    对于一个样本集 ,定义它的cost function为:

    我们要做的就是最小化上述式子,类似于最小二乘,不同的是加上了第二项的权重衰减,它是用来防止过拟合,可以把它看成是一个约束项,而整个式子就是求解最值的拉格朗日公式。我们的目标是针对参数    来求其函数  的最小值。为了求解神经网络,我们需要将每一个参数    初始化为一个很小的、接近零的随机值(比如说,使用正态分布  生成的随机值,其中  设置为  ),之后对目标函数使用诸如批量梯度下降法的最优化算法。关于wb的初值,我根据这篇论文(Understanding the difficulty of training deep feedforward neuralnetworks)得出的结论:如果激活函数为tanh,我们设置为之间的值,如果激活函数是sigmoid,则是 

 


 

    关于反向传播算法的推导,UFLDL 中介绍的很清楚,我直接粘帖过来了。

    既然是用梯度下降法,我们先对代价函数J求关于w的偏导数,直接写出结果:

    

    反向传播算法的思路如下:给定一个样例 ,我们首先进行"前向传导"运算,计算出网络中所有的激活值,包括  的输出值。之后,针对第  层的每一个节点 ,我们计算出其"残差,该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点,我们可以直接算出网络产生的激活值与实际值之间的差距,我们将这个差距定义为  (第  层表示输出层)。对于隐藏单元我们如何处理呢?我们将基于节点(译者注:第  层节点)残差的加权平均值计算 ,这些节点以  作为输入。下面将给出反向传导算法的细节:

 

  1. 进行前馈传导计算,利用前向传导公式,得到  直到输出层  的激活值。
  2. 对于第  层(输出层)的每个输出单元 ,我们根据以下公式计算残差:

[译者注:

]

  1.   的各个层,第  层的第  个节点的残差计算方法如下:

{译者注:

将上式中的的关系替换为的关系,就可以得到:

    

以上逐次从后向前求导的过程即为"反向传导"的本意所在。 ]

  1. 计算我们需要的偏导数,计算方法如下:

        

  最后,我们用矩阵-向量表示法重写以上算法。我们使用"表示向量乘积运算符(在MatlabOctave里用".*"表示,也称作阿达马乘积)。若 ,则 。在上一个教程中我们扩展了  的定义,使其包含向量运算,这里我们也对偏导数  也做了同样的处理(于是又有  )。


  那么,反向传播算法可表示为以下几个步骤:

  1. 进行前馈传导计算,利用前向传导公式,得到 直到输出层  的激活值。
  2. 对输出层(第  层),计算:

    

  1. 对于  的各层,计算:

    

  1. 计算最终需要的偏导数值:

    

实现中应注意:在以上的第2步和第3步中,我们需要为每一个  值计算其 。假设  sigmoid函数,并且我们已经在前向传导运算中得到了 。那么,使用我们早先推导出的 表达式,就可以计算得到 


最后,我们将对梯度下降算法做个全面总结。在下面的伪代码中, 是一个与矩阵  维度相同的矩阵, 是一个与  维度相同的向量。注意这里""是一个矩阵,而不是"   相乘"。下面,我们实现批量梯度下降法中的一次迭代:

 

  1. 对于所有 ,令  ,  (设置为全零矩阵或全零向量)
  2. 对于     
    1. 使用反向传播算法计算   
    2. 计算 
    3. 计算 
  3. 更新权重参数:

    

    

    注意:为了使代价函数更快的收敛,首先要对输入数据进行归一化。

    上面忘了讲tanh激活函数,,非线性数据围绕原点对称更容易很好的收敛代价函数,因为它们倾向于产生零均值输入到下一层,一般讲,tanh有更好的收敛性能。

    

本文转自:http://www.cnblogs.com/loujiayu/p/3545026.html

这篇关于前馈网络及反向传播的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/871774

相关文章

Linux网络配置之网桥和虚拟网络的配置指南

《Linux网络配置之网桥和虚拟网络的配置指南》这篇文章主要为大家详细介绍了Linux中配置网桥和虚拟网络的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 一、网桥的配置在linux系统中配置一个新的网桥主要涉及以下几个步骤:1.为yum仓库做准备,安装组件epel-re

Spring Boot 事务详解(事务传播行为、事务属性)

《SpringBoot事务详解(事务传播行为、事务属性)》SpringBoot提供了强大的事务管理功能,通过@Transactional注解可以方便地配置事务的传播行为和属性,本文将详细介绍Spr... 目录Spring Boot 事务详解引言声明式事务管理示例编程式事务管理示例事务传播行为1. REQUI

python如何下载网络文件到本地指定文件夹

《python如何下载网络文件到本地指定文件夹》这篇文章主要为大家详细介绍了python如何实现下载网络文件到本地指定文件夹,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下...  在python中下载文件到本地指定文件夹可以通过以下步骤实现,使用requests库处理HTTP请求,并结合o

Linux高并发场景下的网络参数调优实战指南

《Linux高并发场景下的网络参数调优实战指南》在高并发网络服务场景中,Linux内核的默认网络参数往往无法满足需求,导致性能瓶颈、连接超时甚至服务崩溃,本文基于真实案例分析,从参数解读、问题诊断到优... 目录一、问题背景:当并发连接遇上性能瓶颈1.1 案例环境1.2 初始参数分析二、深度诊断:连接状态与

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解