邻近 算法 理论

2023-11-28 16:59
文章标签 算法 理论 邻近

本文主要是介绍邻近 算法 理论,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

K近邻模型由三个基本要素组成:
距离度量;
k值的选择;
分类决策规则

K近邻算法的核心在于找到实例点的邻居。
估算不同样本之间的相似性(SimilarityMeasurement)通常采用的方法就是计算样本间的“距离”(Distance),相似性度量方法有:欧氏距离、余弦夹角、曼哈顿距离、切比雪夫距离等。
欧氏距离
欧氏距离(EuclideanDistance)是最易于理解的一种距离计算方法,源于欧氏空间中的两点之间的距离公式。
这里写图片描述

曼哈顿距离
红线代表曼哈顿距离,绿色代表欧氏距离,也就是直线距离,而蓝色和黄色代表等价的曼哈顿距离。曼哈顿距离又叫作出租车距离或城市街区距离。
这里写图片描述

切比雪夫距离
这里写图片描述

余弦夹角
这里写图片描述

K值的选择
从最开始的例子可以看到, 当K=3时,绿色圆点被分为了红色三角形一类。K=5时,绿色圆点被分为蓝色正方形一类。说明,k值的选择会对k近邻法的结果产生重大影响。
这里写图片描述

(1)k值较小,只有与输入实例较近(相似)的训练实例才会对预测结果起作用,预测结果会对近邻实例点非常敏感。如果近邻实例点恰巧是噪声,预测就会出错。容易发生过拟合。

(2)若k较大,与输入实例较远的(不相似的)训练实例也会对预测起作用,容易使预测
出错。k值的增大就意味着整体的模型变简单。

(3)如果k=N,那么无论输入实例是什么,都将简单地预测它属于在训练实例中最多的类。这时,模型过于简单,完全忽略训练实例中的大量有用信息,是不可取的。

在应用中,k值一般取较小值。通常通过经验或交叉验证法来选取最优的k值。

分类决策准则

投票表决:
少数服从多数,输入实例的k个近邻中哪个类的实例点最多,就分为该类。
加权投票法(改进):
根据距离的远近,对K个近邻的投票进行加权,距离越近则权重越大(比如权重为距
离的倒数)。

K近邻算法思想
KNN具体算法实现过程如下:

(1)计算当前待分类实例与训练数据集中的每个样本实例的距离;

(2)按照距离递增次序排序;

(3)选取与待分类实例距离最小的k个训练实例;

(4)统计这k个实例所属各个类别数;

(5)将统计的类别数最多的类别作为待分类的预测类别。

使用算法的一般流程
算法的一般流程:
(1)数据处理:准备,分析数据,进行归一化等。
(2)训练算法:利用训练样本训练分类器(模型)。
(3)测试算法:利用训练好的分类器预测测试样本,并计算错误率。
(4)使用算法:对于未知类别的样本,预测其类别。
测试k近邻分类器性能的流程:
(1)数据处理:归一化等(具体情况具体对待)
(2)测试算法:根据K近邻分类算法(函数classify0())预测测试样本类别,并计算错误率。
(3)使用算法:当输入新的未知类别样本,利用算法预测结果。

如何测试分类器性能
获取分类器以后,需测试分类器的效果,可以通过检测分类器给出的答案是否符合我们预期的结果。比如,可以使用已知答案的数据(已知类别标签),当然答案不能告诉分类器,检测由分类器给出的结果(预测类别)是否与数据的真实结果(真实类别)一致。

一个分类器的性能的好坏最简单的评价方法就是,计算其分类错误率。错误率即为测试数据中分类错误的数据个数除以测试数据总数。
错误率越低分类器的分类性能越好,错误率越高,分类性能就越差。

如何测试分类器性能
通常提供的数据集没有区分训练样本和测试样本。

如下为简单交叉验证:

从数据集中选取90%作为训练样本来训练分类器;而使用剩下的10%的样本数据来测试分类器。

其中10%的测试数据应该是从所提供的数据集中随机抽取的,可以多次随机抽取取平均的结果作为最终的检测分类器的错误率。

这篇关于邻近 算法 理论的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/mlljava1111/article/details/50464722
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/430007

相关文章

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

使用雪花算法产生id导致前端精度缺失问题解决方案

《使用雪花算法产生id导致前端精度缺失问题解决方案》雪花算法由Twitter提出,设计目的是生成唯一的、递增的ID,下面:本文主要介绍使用雪花算法产生id导致前端精度缺失问题的解决方案,文中通过代... 目录一、问题根源二、解决方案1. 全局配置Jackson序列化规则2. 实体类必须使用Long封装类3.

Springboot实现推荐系统的协同过滤算法

《Springboot实现推荐系统的协同过滤算法》协同过滤算法是一种在推荐系统中广泛使用的算法,用于预测用户对物品(如商品、电影、音乐等)的偏好,从而实现个性化推荐,下面给大家介绍Springboot... 目录前言基本原理 算法分类 计算方法应用场景 代码实现 前言协同过滤算法(Collaborativ

openCV中KNN算法的实现

《openCV中KNN算法的实现》KNN算法是一种简单且常用的分类算法,本文主要介绍了openCV中KNN算法的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录KNN算法流程使用OpenCV实现KNNOpenCV 是一个开源的跨平台计算机视觉库,它提供了各

springboot+dubbo实现时间轮算法

《springboot+dubbo实现时间轮算法》时间轮是一种高效利用线程资源进行批量化调度的算法,本文主要介绍了springboot+dubbo实现时间轮算法,文中通过示例代码介绍的非常详细,对大家... 目录前言一、参数说明二、具体实现1、HashedwheelTimer2、createWheel3、n

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

golang字符串匹配算法解读

《golang字符串匹配算法解读》文章介绍了字符串匹配算法的原理,特别是Knuth-Morris-Pratt(KMP)算法,该算法通过构建模式串的前缀表来减少匹配时的不必要的字符比较,从而提高效率,在... 目录简介KMP实现代码总结简介字符串匹配算法主要用于在一个较长的文本串中查找一个较短的字符串(称为

通俗易懂的Java常见限流算法具体实现

《通俗易懂的Java常见限流算法具体实现》:本文主要介绍Java常见限流算法具体实现的相关资料,包括漏桶算法、令牌桶算法、Nginx限流和Redis+Lua限流的实现原理和具体步骤,并比较了它们的... 目录一、漏桶算法1.漏桶算法的思想和原理2.具体实现二、令牌桶算法1.令牌桶算法流程:2.具体实现2.1