机器学习技法 笔记六 Support Vector Regressssion

2024-06-20 15:32

本文主要是介绍机器学习技法 笔记六 Support Vector Regressssion,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天要说的是SVR

上一次提到了kernel logistic rgeression

1.kernel ridge regression

同时也提到了,对于任何的L2-regularized linear model,它的w都可以用资料的线性组合来表示

对于以前学的linear regression ,我们的error,是用的squared error,即差值的平方来达到regression

如果把这个regression配合上regularization的话,那么就是ridge regression。

还记得以前我们怎么求linear regression的吗?我们可以直接利用矩阵,一步求出解来。


可以看到上半部分的式子就是ridge regression,同时由于我们知道w可以表示成一堆资料的线性组合,同时可以用kernel替换,所以变换可以得到下面部分的式子。

为了方便计算,我们写成矩阵的形式。


这个过程大家算一算就好了,也不复杂。

其实我们可以发现,这就是一个无条件的关于β的二次式,对他求导


求导以后,我们直接就可以解出β,因为K是半正定的,以前讲kernel有介绍的,所以对于γ>0,自然可以求出来了。

对于ridge regression 我们可以和linear regression 的效果对比一下,


前者还是只能做线性,而后者加入kernel以后显然可以由非线性的区分了。


2.SVR primal

对于上面的ridge regression,我们叫LSSVM,也就是Least-Squares SVM。 SVM就是我们熟悉的SVM,而前者就是指用squares来衡量error。

当然ridge regression(即LSSVM)也可以用来做分类

我们比较一下soft-margin SVM和LSSVM


其实 看边界来说两者差别不大,但是我们可以看到方框框圈出来的点,前面已经说过,方框框圈出来的点是支持向量。

想想为什么,在讲soft-margin SVM的时候,里面的α大多是0,只有在α不是0的情况下,我们才有这个点是支持向量。

而在LSSVM中β基本是非0的,所以支持向量会很多。

支持向量多有什么问题呢?这会导致我们在predicttion 的时候运算量加大。

那么我们如何改变么?让支持向量变少一点。

考虑下图的模型


对于以前的regression问题,我们通常会考虑预测值和实际值差多少来决定扣多少分,现在,我们划分出一个中立区,对于预测值,如果预测出来的结果和y的差距小于等于ε

其实可以看上面图中的err表达就可以了,至于在中立区外面的,那么err就是差值减去ε。



把tube regression联系到SVM上,得到最下面的式子,但是我们知道我们以前解SVM问题,都是用的二次规划的问题,但是这里的max的数学性质并不是那么好。



所以像以前解决soft-margin一样,我们引入一个变量,但是由于下面的限制有绝对值,拆开,得到右边的式子,所以最后的结果其实可以写成右边这样。而变量旁边的上下尖就分别代表了tube的上下界。

对于上面的式子,我们完全就可以使用拉格朗日乘子解决了,以前的SVM已经提过很多次,所以这次就直接截图了



左边的是soft-margin,右边的是svr

同时回到最初的问题,就是现在的模型,会不会很是有很多支持向量,其实我们可以在tube内部的点,肯定就不是支持向量了,因为α上和α下都为0,所以对于系数来说为0,所以并不是支持向量,只有在tube外面的才会是支持向量。

下面总结一下我们现在所学的model


显然对于第一排额第二排都是线性的,当然第二排肯定使用的人更多,效果更好。

第三排和第四排,当然更多人会选择第四排,因为前面已经说过,第三排的两个的β算出来很多都不是0,所以会导致计算了变大。

这篇关于机器学习技法 笔记六 Support Vector Regressssion的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1078527

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

C++ vector的常见用法超详细讲解

《C++vector的常见用法超详细讲解》:本文主要介绍C++vector的常见用法,包括C++中vector容器的定义、初始化方法、访问元素、常用函数及其时间复杂度,通过代码介绍的非常详细,... 目录1、vector的定义2、vector常用初始化方法1、使编程用花括号直接赋值2、使用圆括号赋值3、ve

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

C++ Primer 标准库vector示例详解

《C++Primer标准库vector示例详解》该文章主要介绍了C++标准库中的vector类型,包括其定义、初始化、成员函数以及常见操作,文章详细解释了如何使用vector来存储和操作对象集合,... 目录3.3标准库Vector定义和初始化vector对象通列表初始化vector对象创建指定数量的元素值

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(