条件熵,信息增益(互信息)与特征选择

2024-05-25 03:08

本文主要是介绍条件熵,信息增益(互信息)与特征选择,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一定要先搞清楚什么是信息量,什么是信息熵。参考博文:https://blog.csdn.net/u010916338/article/details/91127242

一,什么是信息量?

简言之,就是把信源看做是一个随机变量。消息(信号)就是随机变量的取值,比如a1,a2···an。信息就是这些随机变量的不确程度(发生概率越低,不确定性越大),公式如下。为什么写成这样呢?原因有二。第一:概率和信息量(不确定性)是反比例关系;第二,当事件发生概率为1的时候,信息量为0。

注:信息量描绘的是一个随机变量的取值,a1有a1的信息量,a2有a2的信息量。

即信息量是对某一事件的不确定性的度量。

二,什么是信息熵 ?

接着上面,如何描绘随机变量的所有取值的信息量呢?就是求随机变量的期望。即求信息量的均值。

注:信息熵是对整个随机变量的不确定性的度量。

三,什么是信息增益(互信息)?

3.1  条件熵

先得搞清楚什么是条件熵,公式如下:

H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x) 

直接看公式,摸不到头脑,我们直接引入一个案例,结合案例很容易就理解了。

3.2  案例:哪个特征对QQ用户是否流失影响较大?

数据如下表所示,代表QQ用户是否流失。uin表示用户id;gender表示用户性别;act_info表示用户活跃度;is_lost表示用户是否流失,是标签值。

 

需求:性别和活跃度两个特征,哪个对用户流失影响更大?

数据归纳之后如下表所示,其中positive为正样本(已流失),negative为负样本(未流失)。

 

3.3  计算整体熵:

 整体熵: 

H(Y)=-\frac{5}{15}\log_2( \frac{5}{15})-\frac{10}{15}\log_2( \frac{10}{15})=0.9182

3.4  计算性别特征的条件熵,以及性别特征的信息增益

任意过来一个用户,猜测是已流失还是未流失,设为随机变量Y。

任意过来一个用户是男性或者是女性,设为随机变量X。

任意过来一个用户是男性,设为事件x1;

任意过来一个用户是女性,设为事件x2;

随机变量X的概率空间为: 

\begin{bmatrix} X\\ p(x) \end{bmatrix}=\begin{bmatrix} x_1&x_2\\ \frac{8}{15}&\frac{7}{15} \end{bmatrix}

p(x_1)=\frac{8}{15}\qquad p(x_2)=\frac{7}{15}

(1)男性条件熵:

H(Y|X=x_1)=-\frac{3}{8}\log_2( \frac{3}{8})-\frac{5}{8}\log_2( \frac{5}{8})=0.9543

(2)女性条件熵:

H(Y|X=x_2)=-\frac{2}{7}\log_2( \frac{2}{7})-\frac{5}{7}\log_2( \frac{5}{7})=0.8631

(3)性别条件熵:

H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x)

                =p(x_1)H(Y|X=x_1)+p(x_2)H(Y|X=x_2)

                =\frac{8}{15}\times 0.9543+\frac{7}{15}\times0.8631=0.9118

(4)性别信息增益:

 g(Y,X)=H(Y)-H(Y|X)=0.0064

 3.5  计算活跃度特征的条件熵,以及活跃度特征的信息增益

任意过来一个用户,猜测是已流失还是未流失,设为随机变量Y。

任意过来一个用户活跃度是高,中或者低,设为随机变量X。

任意过来一个用户活跃度高,设为事件x1;

任意过来一个用户活跃度中,设为事件x2;

任意过来一个用户活跃度低,设为事件x3;

随机变量X的概率空间为: 

\bg_white \begin{bmatrix} X\\ p(x) \end{bmatrix}=\begin{bmatrix} x_1&x_2&x_3\\ \frac{6}{15}&\frac{5}{15} &\frac{4}{15}\end{bmatrix}

p(x_1)=\frac{6}{15}\qquad p(x_2)=\frac{5}{15}\qquad p(x_3)=\frac{4}{15}

(1)活跃度高条件熵:

H(Y|X=x_1)=-\frac{0}{6}\log_2( \frac{0}{6})-\frac{6}{6}\log_2( \frac{6}{6})=0

(2)活跃度中条件熵:

H(Y|X=x_2)=-\frac{1}{5}\log_2( \frac{1}{5})-\frac{4}{5}\log_2( \frac{4}{5})=0.7219

(3)活跃度低条件熵:

H(Y|X=x_3)=-\frac{4}{4}\log_2( \frac{4}{4})-\frac{0}{4}\log_2( \frac{0}{4})=0

(4)活跃度条件熵:

H(Y|X)=\sum_{x\in X}p(x)H(Y|X=x)

                =p(x_1)H(Y|X=x_1)+p(x_2)H(Y|X=x_2)+p(x_3)H(Y|X=x_3)

                =\frac{6}{15}\times 0+\frac{6}{15}\times0.7219+\frac{4}{15}\times0=0.2406

(5)活跃度信息增益:

 g(Y,X)=H(Y)-H(Y|X)=0.6776

四,综述 

活跃度的信息增益比性别的信息增益大,也就是说,活跃度对用户流失的影响比性别大。

做特征选择或者数据分析的时候,我们应该重点考察活跃度这个指标。

什么意思?

假如原来没有性别和活跃度这两个维度,后来活跃度这个维度的加入会比性别维度的加入导致整体信息熵提升的更多

参考博文:https://blog.csdn.net/it_beecoder/article/details/79554388

这篇关于条件熵,信息增益(互信息)与特征选择的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1000312

相关文章

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

SQL中JOIN操作的条件使用总结与实践

《SQL中JOIN操作的条件使用总结与实践》在SQL查询中,JOIN操作是多表关联的核心工具,本文将从原理,场景和最佳实践三个方面总结JOIN条件的使用规则,希望可以帮助开发者精准控制查询逻辑... 目录一、ON与WHERE的本质区别二、场景化条件使用规则三、最佳实践建议1.优先使用ON条件2.WHERE用

Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法

《Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法》在Linux系统中,管理磁盘设备和分区是日常运维工作的重要部分,而lsblk命令是一个强大的工具,它用于列出系统中的块设备(blockde... 目录1. 查看所有磁盘的物理信息方法 1:使用 lsblk(推荐)方法 2:使用 fdisk -l(

SpringBoot如何对密码等敏感信息进行脱敏处理

《SpringBoot如何对密码等敏感信息进行脱敏处理》这篇文章主要为大家详细介绍了SpringBoot对密码等敏感信息进行脱敏处理的几个常用方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录​1. 配置文件敏感信息脱敏​​2. 日志脱敏​​3. API响应脱敏​​4. 其他注意事项​​总结

自研四振子全向增益天线! 中兴问天BE6800Pro+路由器拆机和详细评测

《自研四振子全向增益天线!中兴问天BE6800Pro+路由器拆机和详细评测》中兴问天BE6800Pro+路由器已经上市,新品配备自研四振子全向增益天线,售价399元,国补到手339.15元,下面我们... 中兴问天BE6800Pro+路由器自上市以来,凭借其“旗舰性能,中端价格”的定位,以及搭载三颗自研芯片

springboot实现配置文件关键信息加解密

《springboot实现配置文件关键信息加解密》在项目配置文件中常常会配置如数据库连接信息,redis连接信息等,连接密码明文配置在配置文件中会很不安全,所以本文就来聊聊如何使用springboot... 目录前言方案实践1、第一种方案2、第二种方案前言在项目配置文件中常常会配置如数据库连接信息、Red

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文