谣言检测常用评价指标

2023-12-17 02:52

本文主要是介绍谣言检测常用评价指标,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

谣言检测通常是一个二分类任务,常用评价指标包括Precision、Recall、Accuracy、F1-score、Micro-F1、Macro-F1等。

Precision和Recall

名称含义
TP(True Positive)真阳性 预测为正,实际为正
FP(False Positive)假阳性 预测为正,实际为负
TN(True Negative)真阴性 预测为负,实际为负
FN(False Negative)假阴性 预测为负,实际为正

Precision(正确率):在认为是正的样本中,有多少是正的
P r e c i s i o n = T P T P + F P Precision=\frac {TP}{TP+FP} Precision=TP+FPTP
Recall(召回率):原本为正的样本中,有多少被找出来了
R e c a l l = T P T P + F N Recall=\frac{TP}{TP+FN} Recall=TP+FNTP
Accuracy(准确率):整个样本空间中的样本分类正确的比例
A c c u r a c y = T P + T N T P + F P + T N + F N Accuracy=\frac{TP+TN}{TP+FP+TN+FN} Accuracy=TP+FP+TN+FNTP+TN

F1-score

统计TP、FP、TN、FN等指标数据可以用于计算精确率(Precision)和召回率(Recall),根据精确率和召回率可以计算出F1值。
F1分数(F1-Score、F1-Measure),是分类问题的一个衡量指标,用于权衡Precision和Recall,被定义为精确率和召回率的调和平均数。
F 1 = 2 ⋅ P r e c i s i o n ⋅ R e c a l l P r e c i s i o n + R e c a l l F1=2\cdot \frac{Precision\cdot Recall}{Precision + Recall} F1=2Precision+RecallPrecisionRecall

Micro-F1、 Macro-F1

微观F1(Micro-F1)和宏观F1(Macro-F1)都是F1合并后的结果,是用于评价多分类任务的指标。
第i类的Precision和Recall可以表示为:
P r e c i s i o n i = T P i T P i + F P i Precision_i=\frac {TP_i}{TP_i+FP_i} Precisioni=TPi+FPiTPi
R e c a l l i = T P i T P i + F N I Recall_i=\frac{TP_i}{TP_i+FN_I} Recalli=TPi+FNITPi
Micro-F1:
(1)先计算所有类别总的Precision和Recall:
P r e c i s i o n m i c r o = ∑ i = 1 n T P i ∑ i = 1 n T P i + ∑ i = 1 n F P i Precision_{micro}=\frac {\sum_{i=1}^nTP_i}{\sum_{i=1}^nTP_i+\sum_{i=1}^nFP_i} Precisionmicro=i=1nTPi+i=1nFPii=1nTPi
R e c a l l m i c r o = ∑ i = 1 n T P i ∑ i = 1 n T P i + ∑ i = 1 n F N I Recall_{micro}=\frac{\sum_{i=1}^nTP_i}{\sum_{i=1}^nTP_i+\sum_{i=1}^nFN_I} Recallmicro=i=1nTPi+i=1nFNIi=1nTPi
(2)计算调和平均数:
F 1 m i c r o = 2 ⋅ P r e c i s i o n m i c r o ⋅ R e c a l l m i c r o P r e c i s i o n m i c r o + R e c a l l m i c r o F1_{micro}=2\cdot \frac{Precision_{micro}\cdot Recall_{micro}}{Precision_{micro} + Recall_{micro}} F1micro=2Precisionmicro+RecallmicroPrecisionmicroRecallmicro
微观F1(Micro-F1)考虑了各种类别的数量,所以更适用于数据分布不平衡的情况,数量较多的类别会对F1的影响较大。

Macro-F1:
(1)先计算所有类别平均的Precision和Recall:
P r e c i s i o n m a c r o = ∑ i = 1 n P r e c i s i o n i n Precision_{macro}=\frac {\sum_{i=1}^nPrecision_i}{n} Precisionmacro=ni=1nPrecisioni
R e c a l l m a c r o = ∑ i = 1 n R e c a l l i n Recall_{macro}=\frac{\sum_{i=1}^nRecall_i}{n} Recallmacro=ni=1nRecalli
(2)计算调和平均数:
F 1 m a c r o = 2 ⋅ P r e c i s i o n m a c r o ⋅ R e c a l l m a c r o P r e c i s i o n m a c r o + R e c a l l m a c r o F1_{macro}=2\cdot \frac{Precision_{macro}\cdot Recall_{macro}}{Precision_{macro} + Recall_{macro}} F1macro=2Precisionmacro+RecallmacroPrecisionmacroRecallmacro
宏观F1(Macro-F1)对各类别的Precision和Recall直接求平均,不考虑类别数量,Precision和Recall值较高的类别对F1的影响会比较大。

这篇关于谣言检测常用评价指标的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/502836

相关文章

golang中reflect包的常用方法

《golang中reflect包的常用方法》Go反射reflect包提供类型和值方法,用于获取类型信息、访问字段、调用方法等,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录reflect包方法总结类型 (Type) 方法值 (Value) 方法reflect包方法总结

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

解读GC日志中的各项指标用法

《解读GC日志中的各项指标用法》:本文主要介绍GC日志中的各项指标用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基础 GC 日志格式(以 G1 为例)1. Minor GC 日志2. Full GC 日志二、关键指标解析1. GC 类型与触发原因2. 堆

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re

C++ 检测文件大小和文件传输的方法示例详解

《C++检测文件大小和文件传输的方法示例详解》文章介绍了在C/C++中获取文件大小的三种方法,推荐使用stat()函数,并详细说明了如何设计一次性发送压缩包的结构体及传输流程,包含CRC校验和自动解... 目录检测文件的大小✅ 方法一:使用 stat() 函数(推荐)✅ 用法示例:✅ 方法二:使用 fsee

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,:本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间

python判断文件是否存在常用的几种方式

《python判断文件是否存在常用的几种方式》在Python中我们在读写文件之前,首先要做的事情就是判断文件是否存在,否则很容易发生错误的情况,:本文主要介绍python判断文件是否存在常用的几种... 目录1. 使用 os.path.exists()2. 使用 os.path.isfile()3. 使用

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe