KNN和LOF两种算法对比

最近在学习KNN和LOF算法，记录一下自己一些浅显的理解
1.相同点和不同点
通俗地说，KNN算法的基本思想都是：物以类聚人以群分，你的邻居是啥那么你就最有可能是啥；
LOF算法的思想是正常人都是合群的，不合群的就有可能是不正常的。
1.1相同点
都是基于K-邻近距离对样本进行分类，原理比较类似。

1.2不同点
（1）KNN通过k-邻近距离判断自己邻居是哪一类，最终选择比例最高的那一类作为该样本点的类别；

（2）LOF没有给出具体的分类，最终算出的是每个点的局部离群因子，LOF值小于1，说明该点接近密度中心，接近于1，说明和周围的点比较集中，它们为同一簇，局部离群因子越大（大于1），说明该点周围比较分散或者离集体比较远，越有可能是一个异常点。

（3）LOF貌似不存在学习和训练的过程，给一段数据直接开始算，KNN有一个训练样本作为参考。

2.有监督和无监督
KNN是一种有监督学习的算法，在训练集中会给出样本标签，距离该点最近的几个样本是什么标签（占比最高的，中间可能混进一两个相反的标签），那么该点就取对应的标签。
LOF是一种无监督学习，认为正常数据都是分布比较集中的，离群体比较远的有可能是异常值，最终计算出LOF（局部离群因子）得出远离群体的程度，通过给定一个阈值判断是正常数据还是异常数据。

3.案例尝试
用网上参加的一个还款逾期风险的比赛数据尝试了一下，数据分布情况如下图：

（1）用KNN算法进行对训练集测试，准确率为0.79，对验证集进行计算，准确率为0.623；
（2）用LOF算法对训练集进行测试，局部离群因子取4（这是准确率最高的情况，仅针对这个样本，其他的数据可能需要另外取），准确率为0.702，对验证集计算，准确率为0.249
案例总结：
（1）验证集给的数据分布中，信用好的数据占比较少，但是不影响KNN算法的测试，因为本来就是有标签的，有训练集作为参考，验证集的数据多少不影响KNN的计算。
（2）LOF的计算完全是依赖于所给的数据的，数据少的类别可能就比较“吃亏”，被误认为是异常值，给的这组数据可能是比赛方留了一个小小的trick

个人的一些理解，不足之处请大佬们多指正