深度之眼(十八)——偏导数与矩阵的求导

2023-10-09 03:10

本文主要是介绍深度之眼(十八)——偏导数与矩阵的求导,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、偏导数
  • 二、多元复合函数的求导法则,链式求导法则
  • 三、方向导数与梯度及其应用
  • 四、多元函数泰勒公式与海森炬阵
  • 五、多元角数的极值
  • 六、距阵的求导
  • 七、矩阵的求导在深度学习中的应用

一、偏导数

在这里插入图片描述
在这里插入图片描述

对某个变量求偏导,则其余变量看成常数


在这里插入图片描述

可以直接认为成立,不必拘泥条件

二、多元复合函数的求导法则,链式求导法则

在这里插入图片描述

这里举了一个不错的技巧,可以看z到t有几条路径
在这里插入图片描述
对多元时求偏导的方法
比如对x求偏导,就看到x的路径,有几条,分别经过什么

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关键是画准链式关系

三、方向导数与梯度及其应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

举例

在这里插入图片描述

在这里插入图片描述
梯度的正方向,是梯度增长最快的方向。
梯度的负方向,是梯度减小最快的方向

四、多元函数泰勒公式与海森炬阵

一般用到二阶

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
海森矩阵是个对称矩阵

五、多元角数的极值

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、距阵的求导

在这里插入图片描述
在这里插入图片描述

f(x)对其求偏导,就是个列向量,有几个变量,就有行
右值都是看成实数

在这里插入图片描述

对x求偏导
对x求偏导
对x求偏导
对a求偏导
fx = Ax
A
fx = x^Tx
Ax+A^Tx
fx = a^Tx
a
x

解释之前的J

在这里插入图片描述
在这里插入图片描述

所以Ja求偏导等于0,过程在上面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

七、矩阵的求导在深度学习中的应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这篇关于深度之眼(十八)——偏导数与矩阵的求导的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/169930

相关文章

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操