兔子走遍世界——物理学视角下的采样方法

曾经有过一个「有志气的兔子」的故事，相信很多朋友都听过：为了找出地球上最高的山，一群有志气的兔子们开始想办法：

兔子朝着比现在高的地方跳去。他们找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是局部搜索，它不能保证局部最优值就是全局最优值。

兔子喝醉了。他随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，他渐渐清醒了并朝最高方向跳去。这就是模拟退火。

兔子们吃了失忆药片，并被发射到太空，然后随机落到了地球上的某些地方。他们不知道自己的使命是什么。但是，如果你过几年就杀死一部分海拔低的兔子，多产的兔子们自己就会找到珠穆朗玛峰。这就是遗传算法。

兔子们知道一个兔的力量是渺小的。他们互相转告着，哪里的山已经找过，并且找过的每一座山他们都留下一只兔子做记号。他们制定了下一步去哪里寻找的策略。这就是禁忌搜索。

这几个比喻非常经典，经典到我已经不太能确定这个比喻最早的出处。近些年来，人工智能、机器学习、大数据成为了大家街头巷尾热议的主题，上面提到的这些算法得到了非常广泛的注意。在许多实际问题中，我们经常会需要找到「最少的投入」的方案，「能量最低」或者「熵最大」的状态，「效率最高」的某种设计，在这些问题中，上面所介绍的一些算法，再配合上一些改进，可以帮助我们以较小的代价，较快的速度，找到「地球上最高的山」，即找到体系在满足一些约束条件的情况下，所能取得的最小值或者最大值。

不过仅仅只知道最值也还可能并不够。考虑能量的极小化，我们可