Python玩街机

2024-04-17 08:08
文章标签 python 街机

本文主要是介绍Python玩街机,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

来源:GitHub

编译:Bot

编者按:近年来,虽然关于强化学习进展的新闻屡见报端,对强化学习感兴趣的人也很多,但对普通学习者来说,真正做一个自己感兴趣的强化学习项目还是太麻烦了。今天论智给大家推荐的是一名网友开源的Python库,它提供了一个可以玩任何旧版街机游戏的API,操作方式非常亲民。

640?

这是一个允许你在几乎任何街机游戏中训练你的强化学习算法的Python库,它目前在Linux系统上可用。通过这个工具包,你可以定制算法逐步完成游戏过程,同时接收每一帧的数据和内部存储器地址值以跟踪游戏状态,以及发送与游戏交互的动作。

安装

GitHub地址:github.com/M-J-Murray/MAMEToolkit/blob/master/README.md

你可以用pip安装这个库,只需运行以下命令:

pip install MAMEToolkit

演示示例:街霸

在街机爱好者心中,街霸是史上最经典的游戏之一。现在工具包内包含的街霸版本是街头霸王3:三度冲击(Japan 990608, NO CD),我们以此为例,用以下代码写一个随机智能体:

import random	
from MAMEToolkit.sf_environment import Environment	roms_path = "roms/"	
env = Environment("env1", roms_path)	
env.start()	
while True:	move_action = random.randint(0, 8)	attack_action = random.randint(0, 9)	frames, reward, round_done, stage_done, game_done = env.step(move_action, attack_action)	if game_done:	env.new_game()	elif stage_done:	env.next_stage()	elif round_done:	env.next_round()

这个工具包还支持hogwild!训练:

什么是hogwild!? Niu等人引入了一个叫做 Hogwild! 的更新策略,可以使 SGD 可以在多 CPU 上并行更新。处理器在无需对参数加锁的情况下就可以访问共享内存。但仅在输入的是稀疏数据时才有效,因为每次更新仅修改所有参数的一小部分。他们展示了在这种情况下,更新策略几乎可以达到一个最优的收敛率,因为处理器不太可能覆盖掉有用的信息。

from threading import Thread	
import random	
from MAMEToolkit.sf_environment import Environment	def run_env(env):	env.start()	while True:	move_action = random.randint(0, 8)	attack_action = random.randint(0, 9)	frames, reward, round_done, stage_done, game_done = env.step(move_action, attack_action)	if game_done:	env.new_game()	elif stage_done:	env.next_stage()	elif round_done:	env.next_round()	def main():	workers = 8	# Environments must be created outside of the threads	roms_path = "roms/"	envs = [Environment(f"env{i}", roms_path) for i in range(workers)]	threads = [Thread(target=run_env, args=(envs[i], )) for i in range(workers)]	[thread.start() for thread in threads]

建立自己的游戏环境

这个工具包之所以易于上手,是因为它和模拟器本身不需要太多交互,只需注意两点——一是查找你关注的内部状态相关联的内存地址值,二是用选取的环境跟踪状态。你可以用MAME Cheat Debugger,它会反馈游戏的内存地址值如何随时间变化。如果要创建游戏模拟,你得先获得正在模拟的游戏的ROM,并知道MAME使用的游戏ID,比如街霸的ID是'sfiii3n'。

游戏ID

你可以通过运行以下代码找到游戏的ID:

from MAMEToolkit.emulator import Emulator	
emulator = Emulator("env1", "", "", memory_addresses)

这个命令会打开MAME仿真器。你可以搜索游戏列表以找到想要的游戏,游戏的ID位于游戏标题末尾的括号中。

内存地址

如果获得了ID,也有了想要跟踪的内存地址,你可以开始模拟:

from MAMEToolkit.emulator import Emulator	
from MAMEToolkit.emulator import Address	roms_path = "roms/"	
game_id = "sfiii3n"	
memory_addresses = {	"fighting": Address('0x0200EE44', 'u8'),	"winsP1": Address('0x02011383', 'u8'),	"winsP2": Address('0x02011385', 'u8'),	"healthP1": Address('0x02068D0B', 's8'),	"healthP2": Address('0x020691A3', 's8')	}	emulator = Emulator("env1", roms_path, "sfiii3n", memory_addresses)

这会启动仿真器,并在工具包连接到模拟器进程时暂停。

分步运行仿真器

连接工具箱后,你可以分步运行仿真器:

data = emulator.step([])	frame = data["frame"]	
is_fighting = data["fighting"]	
player1_wins = data["winsP1"]	
player2_wins = data["winsP2"]	
player1_health = data["healthP1"]	
player2_health = data["healthP2"]

step函数会把帧数据作为NumPy矩阵返回,同时,它也会返回该时间步长的所有内存地址整数值。

如果要向仿真器输入动作,你还需要确定游戏支持的输入端口和字段。比如玩街霸需要先投币,这个代码是:

from MAMEToolkit.emulator import Action	insert_coin = Action(':INPUTS', 'Coin 1')	
data = emulator.step([insert_coin])

要确定哪些端口可用,请使用list actions命令:

from MAMEToolkit.emulator import list_actions	roms_path = "roms/"	
game_id = "sfiii3n"	
print(list_actions(roms_path, game_id))

下面这个返回的列表就包含街霸环境中可用于向步骤函数发送动作的所有端口和字段:

[	{'port': ':scsi:1:cdrom:SCSI_ID', 'field': 'SCSI ID'}, 	{'port': ':INPUTS', 'field': 'P2 Jab Punch'}, 	{'port': ':INPUTS', 'field': 'P1 Left'}, 	{'port': ':INPUTS', 'field': 'P2 Fierce Punch'}, 	{'port': ':INPUTS', 'field': 'P1 Down'}, 	{'port': ':INPUTS', 'field': 'P2 Down'}, 	{'port': ':INPUTS', 'field': 'P2 Roundhouse Kick'}, 	{'port': ':INPUTS', 'field': 'P2 Strong Punch'}, 	{'port': ':INPUTS', 'field': 'P1 Strong Punch'}, 	{'port': ':INPUTS', 'field': '2 Players Start'}, 	{'port': ':INPUTS', 'field': 'Coin 1'}, 	{'port': ':INPUTS', 'field': '1 Player Start'}, 	{'port': ':INPUTS', 'field': 'P2 Right'}, 	{'port': ':INPUTS', 'field': 'Service 1'}, 	{'port': ':INPUTS', 'field': 'Coin 2'}, 	{'port': ':INPUTS', 'field': 'P1 Jab Punch'}, 	{'port': ':INPUTS', 'field': 'P2 Up'}, 	{'port': ':INPUTS', 'field': 'P1 Up'}, 	{'port': ':INPUTS', 'field': 'P1 Right'}, 	{'port': ':INPUTS', 'field': 'Service Mode'}, 	{'port': ':INPUTS', 'field': 'P1 Fierce Punch'}, 	{'port': ':INPUTS', 'field': 'P2 Left'}, 	{'port': ':EXTRA', 'field': 'P2 Short Kick'}, 	{'port': ':EXTRA', 'field': 'P2 Forward Kick'}, 	{'port': ':EXTRA', 'field': 'P1 Forward Kick'}, 	{'port': ':EXTRA', 'field': 'P1 Roundhouse Kick'}, 	{'port': ':EXTRA', 'field': 'P1 Short Kick'}	
]

仿真器类还有一个frame_ratio参数,可用于调整算法所见的帧速率。默认情况下,MAME以每秒60帧的速度生成帧,如果你觉得这太多了,想把它改成每秒20帧,可以输入以下代码:

from MAMEToolkit.emulator import Emulator	emulator = Emulator(roms_path, game_id, memory_addresses, frame_ratio=3)

MAME性能基准测试

目前这个工具包的开发和测试已在8核AMD FX-8300 3.3GHz CPU以及3GB GeForce GTX 1060 GPU上完成。在使用单个随机智能体的情况下,街头霸王环境可以以正常游戏速度的600%+运行。而如果是用8个随机智能体进行hogwild!训练,环境可以以正常游戏速度的300%+运行。

ConvNet智能体

为了确保工具包能够训练算法,作者还设置了一个简单的5层ConvNet,只需少量调整,你就可以用它进行测试。在街霸实验中,这个算法能够成功学习到游戏的一些简单技巧,比如连击(combo)和格挡(blocking)。街霸本身的游戏机制是分成10个关卡(难度递增),玩家在每个关卡都要迎战不同的对手。刚开始的时候,这个智能体平均只能打到第2关。但在经过2200次训练后,它平均能打到第5关。

至于智能体的学习率,它是用每一局智能体所造成的净伤害和所承受的伤害来计算的。

640?

640?wx_fmt=gif

Pls Follow It!

这篇关于Python玩街机的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/911247

相关文章

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核