互信息，条件熵，联合熵

本文主要是介绍互信息，条件熵，联合熵，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

看到一个图介绍互信息，条件熵，联合熵，还不错，做个记录：

图上的红色和黄色圈分别代表X,Y原始的信息量H(X)/H(Y)/熵值。 （注意信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望）

I(X;Y) : 表示互信息， 知道X，Y损失了多少信息量（知道Y，X损失了多少信息量）。
H(X|Y)或H(Y|X): 表示条件熵， 知道X，Y还剩多少信息量（H(Y|X)）。或者知道Y后，X还剩多少信息量（H(X|Y)）。
H(XY): 联合熵，XY联合起来有多少信息量(H(XY))。

图上可以看出：
I(X;Y) = H(X)-H(X|Y)
I(X;Y) = H(Y)-H(Y|X)
I(X;Y) = H(X)+H(Y)-H(XY)

参考：
https://blog.csdn.net/class_brick/article/details/79651173
https://www.cnblogs.com/wqbin/p/12752610.html

这篇关于互信息，条件熵，联合熵的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---