ROC曲线和AUC,推荐系统中常用AUC作为排序模型的评估指标

2024-06-13 17:20

本文主要是介绍ROC曲线和AUC,推荐系统中常用AUC作为排序模型的评估指标,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1、ROC曲线
  • 2、AUC计算及代码

1、ROC曲线

  • 在不同的应用任务中,我们可根据任务需求来采用不同的截断点。如果我们更重视“查准率”,则可选择排序中靠前的位置进行截断;如果更重视“查全率”,则可选择靠后的位置进行截断。 ROC 曲线就是从这个角度出发来研究学习器泛化性能的有力工具。
  • 计算TPR和FPR:
    在这里插入图片描述
  • ROC 曲线的横轴是假正例率 FPR,纵轴是真正例率 TPR

事实上,机器学习模型的一个特点是:在模型性能固定的前提下,如果模型将更多的正例预测为正例,那么也必然会将更多的反例预测为正例。即 TPR越大,则 FPR 也会越大。

  • ROC曲线的绘制流程:

(1)给定 m+个正例和m-个反例,通过分类器得到每个样本的预测概率,对其从高到低进行排序
(2)将分类阈值设为最大,即把所有样例均预测为反例。此时真正例率和假正例率均为0,则 ROC 曲线的起点为 (0,0)
(3)将分类阈值依次设为每个样例的预测值,即依次将每个样例划分为正例。通过该阈值计算(FPR,TPR)坐标,并使用线段连接这些坐标。
(4)将分类阈值设为最小,即把所有样例均预测为正例。此时真正例率和假正例率均为1,则 ROC 曲线的终点为 (1,1)

  • 若一个学习器的 ROC 曲线被另一个学习器的曲线完全“包住”,则可断言后者的性能优于前者; 若两个学习器的 ROC 曲线发生交叉,则难以一般性地断言两者孰优孰劣此时如果一定要进行比较,则较为合理的判据是比较 ROC 曲线下的面积即 AUC (Area Under ROC Curve)

2、AUC计算及代码

  • AUC的意义可以理解为:

解释1:随机采样一对样本(一个正样本,一个负样本),模型将正样本预测为正例的概率大于将负样本预测为正例的概率,即将正样本排在负样本之前的概率。
解释2:模型给一堆样本(正负类别标签已知)预测打分,然后将他们从大到小排序,正样本能够正确排在负样本前面的概率就是AUC,例如下图所示的AUC为 7 9 \frac{7}{9} 97
在这里插入图片描述
(上图来自《互联网大厂推荐算法实战》)

  • 可以把AUC理解为区分正类和负类的能力,当AUC越大,表示区分正负类的能力越强。当模型对正负样本没有区分能力时,模型会将一个样本随机预测为正类或负类,此时AUC=0.5,因此 AUC 的有效范围是(0.5,1]。
  • 根据AUC的意义,可得出如下计算公式:
    在这里插入图片描述
    在这里插入图片描述
  • 根据计算公式,有如下代码:
import numpy as np
from sklearn.metrics import roc_auc_score# 使用 sklearn 计算 auc
def get_auc_func1(label, pred):return roc_auc_score(label, pred)# 使用物理意义计算 AUC
def get_auc_func2(label, pred):# 查找正负样本索引pos_sample_ids = [i for i in range(len(label)) if label[i] == 1]neg_sample_ids = [i for i in range(len(label)) if label[i] == 0]# 计算指示函数值sum_indicator_value = 0for i in pos_sample_ids:for j in neg_sample_ids:if pred[i] > pred[j]:sum_indicator_value += 1elif pred[i] == pred[j]:sum_indicator_value += 0.5auc = sum_indicator_value / (len(pos_sample_ids) * len(neg_sample_ids))return aucif __name__ == '__main__':label = np.array([1, 0, 0, 0, 1, 0])pred = np.array([0.9, 0.4, 0.3, 0.1, 0.3, 0.6])print(f"auc = {get_auc_func1(label, pred):6f}")  # auc = 0.687500print(f"auc = {get_auc_func2(label, pred):6f}")  # auc = 0.687500
  • AUC的优缺点:

优点:
1)AUC 是根据所有分类阈值得到的,不依赖于分类阈值的选取。AUC体现的是对样本的排序能力,与具体的分值无关。因此 AUC 和推荐系统中的大多数业务场景更贴合,因为大多数业务场景关心 item 之间的相对顺序而不关心 item 的预测分。
2)根据 AUC 的物理意义可知,它是对正负样本随机采样计算得到的,因此 AUC 对正负样本分布不敏感

缺点:
1)AUC 是全局性指标,对于某个用户的 AUC 值不准确。
2)AUC 会忽略模型对正负样本的拟合能力:例如当模型对正样本预测概率均为0.55,对负样本预测概率均为0.45时,此时AUC=1,从 AUC 角度来看是一个完美的模型,但模型对正负样本的拟合能力差。
3)AUC通常用于二分类问题,对于多类别分类问题,需要进行适当的处理,如将其拆分成多个二分类任务

这篇关于ROC曲线和AUC,推荐系统中常用AUC作为排序模型的评估指标的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1057941

相关文章

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

golang中reflect包的常用方法

《golang中reflect包的常用方法》Go反射reflect包提供类型和值方法,用于获取类型信息、访问字段、调用方法等,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录reflect包方法总结类型 (Type) 方法值 (Value) 方法reflect包方法总结

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

解读GC日志中的各项指标用法

《解读GC日志中的各项指标用法》:本文主要介绍GC日志中的各项指标用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基础 GC 日志格式(以 G1 为例)1. Minor GC 日志2. Full GC 日志二、关键指标解析1. GC 类型与触发原因2. 堆

Qt QCustomPlot库简介(最新推荐)

《QtQCustomPlot库简介(最新推荐)》QCustomPlot是一款基于Qt的高性能C++绘图库,专为二维数据可视化设计,它具有轻量级、实时处理百万级数据和多图层支持等特点,适用于科学计算、... 目录核心特性概览核心组件解析1.绘图核心 (QCustomPlot类)2.数据容器 (QCPDataC

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的