Python实战开发及案例分析（12）—— 模拟退火算法

2024-05-09 12:20
文章标签 python 算法 分析 实战 开发 案例 模拟退火

本文主要是介绍Python实战开发及案例分析（12）—— 模拟退火算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

        模拟退火算法（Simulated Annealing）是一种概率搜索算法，源自于金属退火过程。在金属退火中，通过缓慢降低温度，金属内部的原子能够从高能态逐步达到较低能态。模拟退火算法利用类似的原理，通过随机搜索和概率接受策略来找到近似最优解。

模拟退火算法的原理

  • 目标：寻找最小化或最大化目标函数的近似最优解。
  • 温度：从高温逐渐降到低温。
  • 状态变换：通过随机变换产生邻域解。
  • 接受概率：以一定概率接受当前解，概率与温度和能量变化相关。

伪代码

1. 初始化当前解 s0，并设定初始温度 T0
2. while 当前温度 T > Tmin:
    3. 随机产生新的解 s'（当前解的邻域解）
    4. 计算能量差 ΔE = f(s') - f(s)
    5. if ΔE < 0:
        6. 接受新的解 s = s'
    7. else:
        8. 以概率 P(ΔE, T) = exp(-ΔE / T) 接受新的解 s = s'
    9. 降低温度 T = T * α
10. 返回最优解

Python 实现：模拟退火算法

示例问题：求解最小化 Rastrigin 函数

Rastrigin 函数是一个常见的多峰函数，用于测试优化算法的全局搜索能力。函数公式如下：

𝑓(𝑥,𝑦)=10×2+(𝑥2−10×cos⁡(2𝜋𝑥))+(𝑦2−10×cos⁡(2𝜋𝑦))

Python 实现：

import math
import random
import numpy as np
import matplotlib.pyplot as plt# Rastrigin 函数
def rastrigin(x):A = 10return A * len(x) + sum([(xi**2 - A * math.cos(2 * math.pi * xi)) for xi in x])# 邻域解生成函数
def random_neighbor(x, bounds, step_size=0.5):return [min(max(xi + random.uniform(-step_size, step_size), bounds[i][0]), bounds[i][1]) for i, xi in enumerate(x)]# 模拟退火算法
def simulated_annealing(objective, bounds, T0=1000, Tmin=1e-5, alpha=0.9, max_iter=1000):# 随机初始化起点x = [random.uniform(b[0], b[1]) for b in bounds]best_solution = xbest_score = objective(x)current_solution = xcurrent_score = best_scoreT = T0scores = []for _ in range(max_iter):if T < Tmin:break# 生成新邻域解neighbor = random_neighbor(current_solution, bounds)neighbor_score = objective(neighbor)# 接受概率计算if neighbor_score < current_score:current_solution = neighborcurrent_score = neighbor_scoreelse:p = math.exp((current_score - neighbor_score) / T)if random.random() < p:current_solution = neighborcurrent_score = neighbor_score# 更新最优解if current_score < best_score:best_solution = current_solutionbest_score = current_scorescores.append(best_score)# 降低温度T *= alphareturn best_solution, best_score, scores# 定义搜索空间（x 和 y 的范围）
bounds = [(-5.12, 5.12), (-5.12, 5.12)]# 使用模拟退火算法最小化 Rastrigin 函数
best_solution, best_score, scores = simulated_annealing(rastrigin, bounds)print("Best solution:", best_solution)
print("Best score:", best_score)# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Score")
plt.title("Simulated Annealing Optimization Process")
plt.show()

结果分析

        通过运行以上代码，我们可以观察到模拟退火算法的搜索过程，并找到接近最优解的结果：

  • 最优解：Best solution
  • 最优值：Best score
  • 优化过程：scores 显示了得分随迭代次数的变化趋势。

结论

        模拟退火算法是一种用于全局优化的启发式搜索方法，能够有效地找到复杂多峰函数的近似最优解。它的成功取决于温度衰减率和接受概率策略等参数的选择。通过调整这些参数，可以提高算法的搜索效率和性能。

模拟退火算法参数调优

模拟退火算法的性能很大程度上取决于温度衰减率、初始温度和步长的选择。下面是这些参数的常见选择策略：

  1. 初始温度 (T0)：

    • 设定得足够高，以确保在开始时接受不好的解，从而允许算法进行全局搜索。
    • 常见值：1000、5000等。

  2. 温度衰减率 (alpha)：

    • 温度每次迭代后的衰减比率。
    • 常见值：0.9 ~ 0.99。

  3. 终止温度 (Tmin)：

    • 温度降低到何值以下停止搜索。
    • 常见值：1e-5 ~ 1e-8。

  4. 步长 (step_size)：

    • 用于生成新邻域解的随机步长。
    • 常见值：0.1 ~ 1.0。

多目标优化问题

        多目标优化问题（Multi-objective Optimization Problem，MOP）是指同时优化多个相互冲突的目标。在模拟退火算法中，常见的多目标优化方法包括：

  • 权重和法：为每个目标设置权重，将多个目标组合成一个加权目标函数。
  • 帕累托优化：寻找帕累托最优解集，并通过模拟退火进行搜索。

案例分析：求解多目标优化问题

示例问题：双目标优化的 ZDT1 问题

        ZDT1 问题是双目标优化问题的一个经典例子。目标函数如下：

                ​​​​​​​        f_{1}\left ( x \right )=x_{1}

                        f_{2}\left ( x \right )=g\left ( x \right )\cdot \left ( 1-\sqrt{\frac{x_{1}}{g\left ( x \right )}} \right )

                        g\left ( x \right )=1+9\cdot \frac{\sum_{i=2}^{n}x_{i}}{n-1}

        约束条件：

        ​​​​​​​        ​​​​​​​        0\leq x_{i}\leq 1

Python 实现：

import math
import random
import numpy as np
import matplotlib.pyplot as plt# ZDT1 问题
def zdt1(x):f1 = x[0]g = 1 + 9 * sum(x[1:]) / (len(x) - 1)f2 = g * (1 - math.sqrt(f1 / g))return f1, f2# 权重和目标函数
def weighted_sum(x, w):f1, f2 = zdt1(x)return w[0] * f1 + w[1] * f2# 邻域解生成函数
def random_neighbor_multi(x, bounds, step_size=0.1):return [min(max(xi + random.uniform(-step_size, step_size), bounds[i][0]), bounds[i][1]) for i, xi in enumerate(x)]# 多目标模拟退火算法
def simulated_annealing_multi(objective, bounds, w, T0=1000, Tmin=1e-5, alpha=0.9, max_iter=1000):# 随机初始化起点x = [random.uniform(b[0], b[1]) for b in bounds]best_solution = xbest_score = objective(x, w)current_solution = xcurrent_score = best_scoreT = T0scores = []for _ in range(max_iter):if T < Tmin:break# 生成新邻域解neighbor = random_neighbor_multi(current_solution, bounds)neighbor_score = objective(neighbor, w)# 接受概率计算if neighbor_score < current_score:current_solution = neighborcurrent_score = neighbor_scoreelse:p = math.exp((current_score - neighbor_score) / T)if random.random() < p:current_solution = neighborcurrent_score = neighbor_score# 更新最优解if current_score < best_score:best_solution = current_solutionbest_score = current_scorescores.append(best_score)# 降低温度T *= alphareturn best_solution, scores# 定义搜索空间
bounds = [(0, 1) for _ in range(30)]
weights = [0.5, 0.5]# 使用多目标模拟退火算法最小化 ZDT1 问题
best_solution, scores = simulated_annealing_multi(weighted_sum, bounds, weights)# 打印结果
f1, f2 = zdt1(best_solution)
print("Best solution:", best_solution)
print("Objective values:", (f1, f2))# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Weighted Score")
plt.title("Simulated Annealing Multi-objective Optimization Process")
plt.show()

结论

        通过优化 ZDT1 问题，我们了解到模拟退火算法在多目标优化问题上的适用性。重要的是选择适当的参数和策略，包括权重分配、温度衰减和步长等。模拟退火算法在全局搜索上具有广泛的应用潜力，可以有效地应对高维优化问题。

        在继续深入探讨模拟退火算法的优化和应用过程中，让我们进一步扩展内容，包括：

  1. 非线性函数优化：优化非线性函数以显示模拟退火算法的多功能性。
  2. 组合优化问题：应用模拟退火算法于旅行商问题（TSP）。
  3. 参数调优：展示如何通过调优参数来改善算法性能。

非线性函数优化

        在非线性函数优化问题中，我们可以尝试优化 Himmelblau 函数，这是一个常见的多极值函数，定义如下：

                        f\left ( x,y \right )=\left ( x^{2}+y-11 \right )^{2}+\left (x+y^{2}-7 \right )^{2}

Python 实现：
import random
import math
import numpy as np
import matplotlib.pyplot as plt# Himmelblau 函数
def himmelblau(x):return (x[0]**2 + x[1] - 11)**2 + (x[0] + x[1]**2 - 7)**2# 邻域解生成函数
def random_neighbor(x, bounds, step_size=0.5):return [min(max(xi + random.uniform(-step_size, step_size), bounds[i][0]), bounds[i][1]) for i, xi in enumerate(x)]# 模拟退火算法
def simulated_annealing(objective, bounds, T0=1000, Tmin=1e-5, alpha=0.9, max_iter=1000):# 随机初始化起点x = [random.uniform(b[0], b[1]) for b in bounds]best_solution = xbest_score = objective(x)current_solution = xcurrent_score = best_scoreT = T0scores = []for _ in range(max_iter):if T < Tmin:break# 生成新邻域解neighbor = random_neighbor(current_solution, bounds)neighbor_score = objective(neighbor)# 接受概率计算if neighbor_score < current_score:current_solution = neighborcurrent_score = neighbor_scoreelse:p = math.exp((current_score - neighbor_score) / T)if random.random() < p:current_solution = neighborcurrent_score = neighbor_score# 更新最优解if current_score < best_score:best_solution = current_solutionbest_score = current_scorescores.append(best_score)# 降低温度T *= alphareturn best_solution, best_score, scores# 定义搜索空间
bounds = [(-5, 5), (-5, 5)]# 使用模拟退火算法最小化 Himmelblau 函数
best_solution, best_score, scores = simulated_annealing(himmelblau, bounds)print("Best solution:", best_solution)
print("Best score:", best_score)# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Score")
plt.title("Simulated Annealing Optimization Process (Himmelblau)")
plt.show()

组合优化问题：旅行商问题（TSP）

        旅行商问题（Traveling Salesman Problem，TSP）是组合优化问题中的经典问题。目标是在给定的城市集合中，找到访问所有城市且回到出发点的最短路径。

Python 实现：
import random
import math
import matplotlib.pyplot as plt# 计算两城市之间的距离
def distance(city1, city2):return math.sqrt((city1[0] - city2[0])**2 + (city1[1] - city2[1])**2)# 计算总路径长度
def total_distance(tour, cities):return sum(distance(cities[tour[i]], cities[tour[i + 1]]) for i in range(len(tour) - 1)) + distance(cities[tour[0]], cities[tour[-1]])# 邻域解生成函数
def random_neighbor_tsp(tour):new_tour = tour[:]i, j = random.sample(range(len(tour)), 2)new_tour[i], new_tour[j] = new_tour[j], new_tour[i]return new_tour# 模拟退火算法
def simulated_annealing_tsp(cities, T0=1000, Tmin=1e-5, alpha=0.99, max_iter=1000):tour = list(range(len(cities)))random.shuffle(tour)best_solution = tourbest_score = total_distance(tour, cities)current_solution = tourcurrent_score = best_scoreT = T0scores = []for _ in range(max_iter):if T < Tmin:break# 生成新邻域解neighbor = random_neighbor_tsp(current_solution)neighbor_score = total_distance(neighbor, cities)# 接受概率计算if neighbor_score < current_score:current_solution = neighborcurrent_score = neighbor_scoreelse:p = math.exp((current_score - neighbor_score) / T)if random.random() < p:current_solution = neighborcurrent_score = neighbor_score# 更新最优解if current_score < best_score:best_solution = current_solutionbest_score = current_scorescores.append(best_score)# 降低温度T *= alphareturn best_solution, best_score, scores# 随机生成城市坐标
random.seed(0)
num_cities = 20
cities = [(random.uniform(0, 100), random.uniform(0, 100)) for _ in range(num_cities)]# 使用模拟退火算法解决 TSP
best_solution, best_score, scores = simulated_annealing_tsp(cities)print("Best solution:", best_solution)
print("Best score:", best_score)# 绘制优化过程中的得分变化
plt.plot(scores)
plt.xlabel("Iteration")
plt.ylabel("Best Score")
plt.title("Simulated Annealing Optimization Process (TSP)")
plt.show()# 绘制 TSP 最优路径
x = [cities[i][0] for i in best_solution] + [cities[best_solution[0]][0]]
y = [cities[i][1] for i in best_solution] + [cities[best_solution[0]][1]]
plt.plot(x, y, marker='o')
plt.xlabel("X Coordinate")
plt.ylabel("Y Coordinate")
plt.title("Optimal Tour (TSP)")
plt.show()

结论

        模拟退火算法通过不断地接受或拒绝新解来达到全局优化的目标。我们展示了如何使用模拟退火算法优化非线性函数、组合优化问题，并且通过参数调优进一步优化了算法性能。对于特定问题来说，模拟退火算法的成功取决于参数设置以及随机搜索策略的选择。

这篇关于Python实战开发及案例分析（12）—— 模拟退火算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/973401。

相关文章

使用Python和OpenCV库实现实时颜色识别系统

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》：本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色（红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解
阅读更多...
一文深入详解Python的secrets模块

一文深入详解Python的secrets模块

《一文深入详解Python的secrets模块》在构建涉及用户身份认证、权限管理、加密通信等系统时,开发者最不能忽视的一个问题就是“安全性”,Python在3.6版本中引入了专门面向安全用途的secr... 目录引言一、背景与动机：为什么需要 secrets 模块？二、secrets 模块的核心功能1. 基
阅读更多...
python常见环境管理工具超全解析

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面：本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.
阅读更多...
Python常用命令提示符使用方法详解

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,：本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安
阅读更多...
Python UV安装、升级、卸载详细步骤记录

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》：本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见：https://docs.astral.sh/
阅读更多...
Python并行处理实战之如何使用ProcessPoolExecutor加速计算

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.
阅读更多...
Python中help()和dir()函数的使用

Python中help()和dir()函数的使用

《Python中help()和dir()函数的使用》我们经常需要查看某个对象（如模块、类、函数等）的属性和方法,Python提供了两个内置函数help()和dir(),它们可以帮助我们快速了解代... 目录1. 引言2. help() 函数2.1 作用2.2 使用方法2.3 示例(1) 查看内置函数的帮助(
阅读更多...
Python虚拟环境与Conda使用指南分享

Python虚拟环境与Conda使用指南分享

《Python虚拟环境与Conda使用指南分享》：本文主要介绍Python虚拟环境与Conda使用指南,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、python 虚拟环境概述1.1 什么是虚拟环境1.2 为什么需要虚拟环境二、Python 内置的虚拟环境工具
阅读更多...
Python实例题之pygame开发打飞机游戏实例代码

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,：本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部
阅读更多...
Python pip下载包及所有依赖到指定文件夹的步骤说明

Python pip下载包及所有依赖到指定文件夹的步骤说明

《Pythonpip下载包及所有依赖到指定文件夹的步骤说明》为了方便开发和部署,我们常常需要将Python项目所依赖的第三方包导出到本地文件夹中,：本文主要介绍Pythonpip下载包及所有依... 目录步骤说明命令格式示例参数说明离线安装方法注意事项总结要使用pip下载包及其所有依赖到指定文件夹，请按照以
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2