溯源探幽--熵的世界

前言

学习决策树的时候，提到了信息熵的概念，今天跟大家一起探讨下熵的由来。

        参考的主要的书籍是《溯源探幽--熵的世界》，这本书主要讲了熵的前生今世，不过这本书是物理学著作，所以里面的内容不是很容易理解，如果大家物理学和数学不是很感兴趣的话，不建议大家去读。本文主要是抽取其中比较好理解的一些内容跟大家探讨下。

---

1、蒸汽机的发明

首先我们看一个故事：

瓦特与蒸汽机

        瓦塔在幼年时，看到炉子上水壶里的水开了，盖子被蒸汽掀动，不停的上下跳跃，感到奇怪，想了很久竟然忘记了吃饭。由此他认识了蒸汽的力量，发明了蒸汽机。

        今天我们不去探讨上面故事的合理性和真实性，我们主要想说明的是蒸汽机的出现对人类进步产生了非常重要的影响

“蒸汽机的历史意义，无论怎样夸大也不为过。”—《全球通史》作者L.S。斯塔夫里阿诺斯

 

 下面是绘制的一个简单的蒸汽机的原理图：

---

A处为起点，我们对其加热或者做工Q1，使水沸腾后产生水蒸气向右边流通；

气体经过压强变大后进行向外做工；

产生的废汽水流经B，低温热源使水的温度降下来，再回到A；

这样一个循环，就是简单的蒸汽机原理。

当然我们这里只是做个简单的介绍，实际的蒸汽机原理要比这复杂的多。

 

2、永动机的设想

引入蒸汽机原理主要是想引入一个问题，就是在蒸汽机发明后，由于其热机的利用效率是比较低的，所以开始有人想制造：一种不消耗任何能量但可以源源不断输出动力的发动机，这就是第一类永动机的设想。

上图即为永动机设想的图纸之一，网上可以找到很多相关的图纸，原理基本上是一样的，主要是考虑到每个圆球的质量不同和悬挂球的挂钩的长短（力臂或者力矩）不一样，会导致每个支点的受力不平衡，会让其一直转动下去。

估计当时皇家科学院收到了很多设计者的图纸来制造永动机，把经费都用光了也没成功，这时候急需一个理论来打破永动机的设想。

此时热力学第一定律横空出世：

热量可以从一个物体传递到另一个物体，也可以与机械能或其他能量互相转换，但是在转换过程中，能量的总值保持不变。

这样就从根本上否定了第一类永动机的可能性。不过这里我们也遇到了一个问题：

这个问题大家可以自己先考虑下，我们下面会来解答。

---

 

3、第二类永动机

我们知道除了第一类永动机的设想外，还有第二类永动机：

设计者不希望无中生有的产生能量，而寄希望于从周围大自然—大地、海洋、大气中把能量提取出来，然后通过一种设计巧妙的机器，把从大自然热库中吸收来的热能全部转化为功。有人测算过，若能制作出这样的热机，那么，只要使整个海水的温度降低0.01度，则机器对外所做的功就可供全世界的工厂上千年之用。

从第二类永动机的设想原理上来看，完全符合热力学第一定律的原理，没有凭空制造能量，只是把能量进行了转移，那这个设想可以实现吗？

当然现实告诉我们这个是不能实现的，但是怎么理解这个问题呢。这就引申出来了热力学第二定律：

热力学第二定律（second law of thermodynamics）：

热力学基本定律有三种描述，其表述分别为：

1>不可能把热从低温物体传到高温物体而不产生其他影响；

2>不可能从单一热源取热使之完全转换为有用的功而不产生其他影响；

3>不可逆热力过程中熵的微增量总是大于零。

其中第三种描述又称“熵增定律”，表明了在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小。

到这里我们终于看到了今天要讲的主角“熵”，

但是我们先不去讲熵，先把热力学第二定律解释一下，大家如果能看明白的话也可以略过。

热力学第二定律主要是阐述一个概念，就是在一切与热有联系的现象中，自发地实现的过程都是不可逆的；

也可以这么理解：

一切热机不可能从单一热源取热把它全部转化为功：即热转化为功是有限度的、有条件的，但是反过来功转化为热却是自发的、无条件的。

不知道大家有没有糊涂，举个例子：

上图左边，一杯热水变为凉水(到室温)可以自发的进行，不需要对其做功，不需要产生任何其他的影响，只是在跟室温进行热交换（热传递）。

而右边的凉水变为热水，是不可能自发进行的，必须要加热或者做功才能实现。

对于第二定律的第二种描述其实就是转化率的问题，即热能做功的效率是很低的。

4、熵的引入

接下来我们要进入我们今天要讲的重点了，就是第二定律的第三种描述，即熵的引入：

态函数S其实是用公式推导出来的，但是我们的重点不是推导，所以这里只是把概念跟大家解释一下。

那么熵到底是什么呢？

熵：可以作为能量不可用程度的度量

也就是说熵是一个贬义词，代表能量的无序状态或者会乱程度的度量。

能量的总值虽然保持不变，但是其可利用的程度总是随熵的增加而降低；

就数量而言，能量保持不变，而就其品质而言，价值贬低了。

这是不可逆性，也是熵值增加的一个直接后果，表明了熵的宏观意义：

不可逆过程在能量利用上的后果总是使一定的能量从能做功的形式转换为不做功的形式，即成了“退化”的能量。

这也解释了上面我们提到的问题：为什么能量是守恒的，但是会出现能源危机的原因。因为更多的能量变成了无序或者混乱的状态，无法利用。

5、信息熵

5.1信息熵的引入

说完熵的由来，该进入我们今天的正题了，就是熵在我们日常生活中的运用。虽然能量熵也在我们生活中，但是由于他并没有威胁到我们的生存，所以还没有被广泛关注到。但是接下来我们要说的信息熵不但与我们息息相关，而且已经被运用。

熵亦被用于计算一个系统中的失序现象，也就是计算该系统混乱的程度。

信息熵就是信息的无序状态或者混乱程度！！！

我们举个例子来了解下：

从实际信息中来认识熵：

        在左边手机大卖场里面，有4家店面，每个店面都销售不同类型的手机，比如我想买锤子手机，我要一家店一家店的找，还不一定能找到，信息杂乱，这里就可以说熵值比较大。

        而从右边品牌店里面，也有四家店面，但是都是品牌店，我不用进去就知道里面买什么牌子，比如我想买锤子手机，一看没有锤子品牌店，那我就直接不用进去浪费时间了，这里熵值就比较小。

 

5.2熵的量化

接下来从数据角度量化一下：

熵:是表示随机变量不确定性的度量，熵的取值越大，随机变量的不确定性也越大。

设X是一个取有限个值的离散随机变量，其概率分布为 

P(X=xi)=pi, i=1,2,⋯,n

熵计算公式:H(X)=- ∑ pi * logpi,i=1,2, ... , n

一个栗子: A集合[1,1,2,2,2,2,2,2,2,2] 

               B集合[1,1,2,3,4,5,6,7,8,9] 

先观察下数据，对于集合A，里面只有1、2两个不同数据；

而B集合里面有9个不同数据，很显然B比A更加混乱一些，

这是我们直观的感受，接下来我们用公式计算一下

H(A)=-2/10*log(2/10)+(-8/10*log(8/10))=0.217   

(1的概率为2/10,2的概率为8/10)

H(B)=-2/10*log(2/10)+(-1/10*log(1/10))*8=0. 940      

(1的概率为2/10,其他8个值的概率为1/10)

通过公式计算我们也可以得到，A的熵值较小，说明A比B更加有效一点

对于熵:H(X)=- ∑ pi * logpi

不确定性越大，得到的熵值也就越大

当p=0或p=1时，H(p)=0,随机变量完全没有不确定性

当p=0.5时，H(p)=1,此时随机变量的不确定性最大 

 

5.3信息熵公式推导

对于公式H(X)我们也可以进行简单的推导：

假设我们有两个类别1，2.对应的概率分别为P1=x ,P2=1-x

H(x)=-(xlog(x)+(1-x)log(1-x))，其实就是求H(X)的极值点，

很显然，当x趋于+∞和-∞时，H(X)趋于0，所以就变成求最大值点，最简单的方式就是求导；

H(x)’=log(x)-1/ln(a)-log(1-x)+1/ln(a)=0

Log(x)-log(1-x)=0

Log(x/(1-x))=0

x/(1-x)=1

最终可以求的x=0.5（如下图）

---

 

6、信息熵的应用

6.1信息量与质的差别

我们看1-3句话，分别用58、28、20个字来表达同一个意思，而且我们发现并不是字数越多就表达得越好，相反20个字表达的效果比更多字数表达的效果更佳。

而3、4句话，同样是20个字，一个是千古传诵，而另一个也就是传递了一个事实而已。

很明显信息传递过程中确实存在量与质的差别，也提醒大家在传递信息个沟通的过程当中怎样让信息的互通更加有效。

 

6.2信息传递的熵值是递增的

还是那首静夜思，在不同时代流传的版本也是不一样的，按说宋朝在时间上根唐朝更近，那么宋刊版本的更有说服力；可是现在我们耳熟能详的却是被修改后的诗，虽然一些学者说更改后的诗让人更加易懂，表达的情感更好，但是终究是被修改了，而且我们认为的修改的好不一定就是李白表达的那个意思。

总之，信息只要是被传递的，那么总有环节会让熵值增加，所以我们在信息传递的过程中最好不要加入我们的主观看法来修改原始信息，尤其是数据类的信息，让我们保持最原始的信息来传递，减少熵值！！！

 

6.3保持信息的秩序和类别

 

一个很简单的测试，如果按照一的说法你能记住男主人要买几种物品吗，但是按照二的说法会不会更容易记住；我们在日常的信息沟通中有没有注意信息的分类呢？

 

6.4信息表达的重要性

一虽然是个很常见的笑话，但是大家扪心自问自己在表达信息的时候有没有犯过这样的错误呢？建议在以后的信息传递中还是按照二的方式来表达你的真实想法，不要让别人猜你想要表达什么。

 

6.5信息载体的选择

不知道大家有没有遇到这样的领导或者收到这样的信息，尤其是在群聊里面。语音消息在微信里面确实对发件方是很方便的，但是对于接受信息的人呢。

当然在日常生活中，非常要好的朋友或者亲人间进行语音的互发诗没有问题的。但是在工作的沟通中，信息传递的准确性要求是很高的，所以建议大家不要用语音的方式来减少自己的麻烦，而给别人添乱。因为文字的表达更能让对方明白，而且也更有效。

我们不去吐槽微信语音的不能暂停、翻译不准这些诟病；只是表达作为载体文字更有效，比如本人见到没有字幕的电影或者视频，除非工作需要，坚决不看的，可能自身有强迫症吧

 

关于信息熵在生活中的运用其实只是说了九牛一毛，现在信息熵运用最广的应该是在算法中的运用，其他的也需要大家自己去发现，可以用熵作为一个标准去衡量一些事情的效率。