机器学习基础-23:矩阵理论(L0/L1/L2范数等)

2023-11-23 11:18

本文主要是介绍机器学习基础-23:矩阵理论(L0/L1/L2范数等),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

机器学习基础-23:矩阵理论(L0/L1/L2范数等)

机器学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读!

线性代数是数学的一个分支,广泛应用于科学和工程领域。线性代数和矩阵理论是机器学习和人工智能的重要数学基础。有短板的请补课,推荐《The Matrix Cookbook》。线性代数主要涉及矩阵理论,本节围绕矩阵理论展开。

1 标量、向量和张量

标量: 一个标量就是一个单独的数字
向量: 一个向量就是一列数字。例如 x= [x1,x2,…xn]
矩阵:一个矩阵就是一个二维数组 A = [[A11,A12], [A21,A22]]
张量: 一个数组中的元素分布于若干坐标的规则网格中,称为张量

2 矩阵和矩阵的性质

矩阵乘积具有分配律: A(B+C)=AB+AC
矩阵乘积具有结合律: A(BC)=(AB)C
单位矩阵和逆矩阵
对角矩阵
线性相关

3 范数

衡量一个向量的大小,在机器学习中称为范数。范数的定义为:
∣ ∣ x ∣ ∣ p = ( ∑ n = 1 N ∣ x i ∣ p ) 1 / p ||x||_p = (\sum_{n=1}^N|x_i|^p)^1/p xp=(n=1Nxip)1/p

L0范数: 向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0。换句话说,就是让参数W是稀疏的。稀疏矩阵、稀疏编码、稀疏网络可是机器学习中大火的概念哦。稀疏规则化一个最吸引人的特性是特征的自动选择,自动去掉没有信息的特性(把这些特征对应的权重置为0)。

L1范数: 向量中各个元素绝对值之和,论文中集万千宠爱的稀疏规则算子(Lasso regularization)。L1范数会使权值稀疏。L1范数和L0范数可以实现稀疏,L1范数因具有比L0范数更好的优化求解特性而被广泛应用。

L2 范数称为欧几里得范数。L2 范数的经典特性是权值衰减(Weight Decay)。在回归算法中,使用L2 范数的回归称为岭回归(Ridge Regression)。L2范数可以限制模型空间,从而在一定程度上避免了过拟合。从学习理论的角度来说,L2范数可以防止过拟合,提升模型的泛化能力。

4 特征分解

我们通过分解质因数可以发现部分整数的内在性质,同样我们通过矩阵分解可以发现组成矩阵的数字元素的性质。特征分解将矩阵分解成一组特征向量和特征值。

5 奇异值分解

奇异值分解顾名思义,将矩阵分解为奇异向量和奇异值。通过奇异值分解我们会得到与特征分解相同类型的信息。

系列文章

  • 深度学习原理与实践(开源图书)-总目录
  • 机器学习原理与实践(开源图书)-总目录
  • Github: 机器学习&深度学习理论与实践(开源图书)

参考文献

  • [1] Ian Goodfellow, Yoshua Bengio. Deep Learning. MIT Press. 2016.
  • [2] 焦李成等. 深度学习、优化与识别. 清华大学出版社. 2017.
  • [3] 佩德罗·多明戈斯. 终极算法-机器学习和人工智能如何重塑世界. 中信出版社. 2018.
  • [4] 雷.库兹韦尔. 人工智能的未来-揭示人类思维的奥秘. 浙江人民出版社. 2016.

这篇关于机器学习基础-23:矩阵理论(L0/L1/L2范数等)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/417554

相关文章

从基础到进阶详解Pandas时间数据处理指南

《从基础到进阶详解Pandas时间数据处理指南》Pandas构建了完整的时间数据处理生态,核心由四个基础类构成,Timestamp,DatetimeIndex,Period和Timedelta,下面我... 目录1. 时间数据类型与基础操作1.1 核心时间对象体系1.2 时间数据生成技巧2. 时间索引与数据

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》:本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Linux基础命令@grep、wc、管道符的使用详解

《Linux基础命令@grep、wc、管道符的使用详解》:本文主要介绍Linux基础命令@grep、wc、管道符的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录grep概念语法作用演示一演示二演示三,带选项 -nwc概念语法作用wc,不带选项-c,统计字节数-

C/C++中OpenCV 矩阵运算的实现

《C/C++中OpenCV矩阵运算的实现》本文主要介绍了C/C++中OpenCV矩阵运算的实现,包括基本算术运算(标量与矩阵)、矩阵乘法、转置、逆矩阵、行列式、迹、范数等操作,感兴趣的可以了解一下... 目录矩阵的创建与初始化创建矩阵访问矩阵元素基本的算术运算 ➕➖✖️➗矩阵与标量运算矩阵与矩阵运算 (逐元

python操作redis基础

《python操作redis基础》Redis(RemoteDictionaryServer)是一个开源的、基于内存的键值对(Key-Value)存储系统,它通常用作数据库、缓存和消息代理,这篇文章... 目录1. Redis 简介2. 前提条件3. 安装 python Redis 客户端库4. 连接到 Re

无法启动此程序因为计算机丢失api-ms-win-core-path-l1-1-0.dll修复方案

《无法启动此程序因为计算机丢失api-ms-win-core-path-l1-1-0.dll修复方案》:本文主要介绍了无法启动此程序,详细内容请阅读本文,希望能对你有所帮助... 在计算机使用过程中,我们经常会遇到一些错误提示,其中之一就是"api-ms-win-core-path-l1-1-0.dll丢失

SpringBoot基础框架详解

《SpringBoot基础框架详解》SpringBoot开发目的是为了简化Spring应用的创建、运行、调试和部署等,使用SpringBoot可以不用或者只需要很少的Spring配置就可以让企业项目快... 目录SpringBoot基础 – 框架介绍1.SpringBoot介绍1.1 概述1.2 核心功能2

Spring Boot集成SLF4j从基础到高级实践(最新推荐)

《SpringBoot集成SLF4j从基础到高级实践(最新推荐)》SLF4j(SimpleLoggingFacadeforJava)是一个日志门面(Facade),不是具体的日志实现,这篇文章主要介... 目录一、日志框架概述与SLF4j简介1.1 为什么需要日志框架1.2 主流日志框架对比1.3 SLF4