索尼 toio™ 应用创意开发征文|AR大富翁

2023-11-04 23:30

本文主要是介绍索尼 toio™ 应用创意开发征文|AR大富翁,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

索尼 toio™ 应用创意开发征文|AR大富翁

  • AR大富翁游戏
    • 游戏规则
  • 角色绑定
  • 移动控制
    • 读取坐标和位置信息
    • 位置移动
  • 事件触发
  • 灯光、音乐、振动效果
  • AR效果


在这里插入图片描述

AR大富翁游戏

索尼toio核心Q宝机器人的特点让它很适合用来制作桌面互动小游戏。大富翁是桌面游戏中经久不衰的类型,那么我们能不能用toio来制作一个有趣的大富翁游戏呢?下面我们就来尝试利用toio机器人,结合AR功能来开发一个AR大富翁游戏。

游戏规则

大富翁可谓是一个很经典的游戏了,下面我们先简单回顾一下他的玩法:
1、首先,每位玩家在游戏开始前获得相同的金钱,金钱是玩家进行游戏的资本,资金全部用完的玩家就会出局。
2、游戏主要靠掷骰子前进,玩家在到达的位置会有事件或者房产,如果是事件则玩家要按说明严格执行。
3、如果是房产,玩家可以选择是否购买,买下之后其他玩家在这里停留就会给你相对的路费。
5、在任何时间,玩家可与对手交易没有建筑物的地皮,先商谈的交易先处理。
6、入狱时仍可以收租、盖房子或是交易,但是不能移动。
7、如在卖出或抵押所有资产后仍无足够的现金以支付债务,则玩家宣告破产,所有资产直接转让给债主,最后一位没有破产的玩家得胜,总资产最高者得胜。
示意图

角色绑定

每个玩家对应一个核心Q宝,每个Q宝的ID信息有PositionId, StandardId, PositionIdMissed, StandardIdMissed通过这几个API可以进行起始点的矫正。
这里在使用JS连接Q宝开发的时候遇到了一些坑,win10下使用bluetooth-hci-socket库会抛出异常:No compatible USB Bluetooth 4.0 device found!
解决方案有以下几种,如果有win7设备的话可以使用win7环境开发。或者检查蓝牙驱动,如果台式机、DIY能力强可以按照蓝牙开发的思路去改驱动。或者对于bluetooth-hci-socket的版本进行升级,使用^0.5.2版本。如果上述都不好用的话,那么换种语言开发也是个不错的选择。
在这里插入图片描述
Q宝连接与断开:

    cube = ToioCoreCube(dev_list[0].interface)await cube.connect()print("Connected")await asyncio.sleep(1)await cube.disconnect()

移动控制

移动控制有两类,一类是基于位置信息,一类是基于网格信息。如果在卡片操作垫上,建议使用网格信息去获取对应位置。移动控制的整个思路,应该是:
1.用户1点击空格键,0-6随机生成数字。然后获取目前的坐标信息。匹配卡片数组,拿到对应的结果坐标位置,进行移动。这里我们略过生成随机数环节,重点讲解Q宝的使用。

读取坐标和位置信息

代码如下(示例):

def notification_handler(payload: bytearray):id_info = IdInformation.is_my_data(payload)if isinstance(id_info, PositionId):point = id_info.center.pointfor mat in ToioMat.mats:if point in mat:print(str(mat))print(str(id_info))LOOP = Truedef ctrl_c_handler(_signum, _frame):global LOOPprint("Ctrl-C")LOOP = False# Add signal handler
signal.signal(signal.SIGINT, ctrl_c_handler)async def read_id():# connect to a cubedev_list = await BLEScanner.scan(1)assert len(dev_list)cube = ToioCoreCube(dev_list[0].interface)await cube.connect()# add notification handlerawait cube.api.id_information.register_notification_handler(notification_handler)try:# Loop until Ctrl-C is pressedwhile LOOP:await asyncio.sleep(0.1)finally:# remove notification handlerawait cube.api.id_information.unregister_notification_handler(notification_handler)await cube.disconnect()return 0

这里使用“ToioCoreCube.api.id_information.read()”可以获取Q宝在活动用操作垫上的实时数据。
但是要注意,在使用“read()”获得的数据是Q宝在执行时的实时数据,“read()”只提供最新的数据, 所以多次尝试“read()”并不能获得每次调用之间的信息变化。
Q宝自身拥有一个通知功能,可以主动发送检测ID信息。通过设置通知处理函数register_notification_handler(),可以使Q宝检测到的信息在Python端无遗漏地被接收。取消注册通知处理函数使用unregister_notification_handler()

位置移动

移动类方法有很多,比如基于电机的相对位置移动,也有基于网格的绝对位置移动。
move_to_the_grid_cell(speed: int, cell_x: int, cell_y: int) -> bool:
比如,骰子后应该运动到100,100位置,我们可以指定目标位置参数。目标位置参数由“cube_location”和“rotation_option”组成。移动的结果是通过通知处理函数获得的。这个操作只能放在操作垫执行。

def notification_handler(payload: bytearray):motor_info = Motor.is_my_data(payload)print(type(motor_info), str(motor_info))dev_list = await BLEScanner.scan(1)
assert len(dev_list)
cube = ToioCoreCube(dev_list[0].interface)
await cube.connect()
await cube.api.motor.register_notification_handler(notification_handler)
await cube.api.motor.motor_control_target(timeout=5,movement_type=MovementType.Linear,speed=Speed(max=100, speed_change_type=SpeedChangeType.AccelerationAndDeceleration),target=TargetPosition(cube_location=CubeLocation(point=Point(x=100, y=100), angle=0),rotation_option=RotationOption.AbsoluteOptimal,),
)await asyncio.sleep(5)
await cube.api.motor.unregister_notification_handler(notification_handler)
await cube.disconnect()

这里可以使用SpeedChangeType.AccelerationAndDeceleration去优化速度变化,这样可以使逐渐加速到目标点一半,然后逐渐减速到目标点。不会导致由于惯性超出目标区域太多。下面就是一个优化后的实现。

加速后减速到达指定地点

事件触发

在这里插入图片描述
大富翁里除了地块还有命运、机会等事件卡片出现。这个时候我们需要运行控制多个Q宝的程序时,会出现依次连接和断开Q宝的情况,为了可以更好的解决这个问题,我们可以使用“asyncio.gather()”。
通过 “asyncio.gather()”,可以同时等待多个异步操作(可以让多个Q宝同时连接和断开)。

green_cube_location = None
red_cube_arrived = Truedef id_notification_handler(payload: bytearray):global green_cube_locationid_info = IdInformation.is_my_data(payload)if isinstance(id_info, PositionId):green_cube_location = id_info.centerdef motor_notification_handler(payload: bytearray):global red_cube_arrivedmotor_response = Motor.is_my_data(payload)if isinstance(motor_response, ResponseMotorControlTarget):print(motor_response)red_cube_arrived = Truedev_list = await BLEScanner.scan(2)
assert len(dev_list) == 2
cube_1 = ToioCoreCube(dev_list[0].interface)
cube_2 = ToioCoreCube(dev_list[1].interface)print("connect cubes")
await asyncio.gather(cube_1.connect(), cube_2.connect())red = IndicatorParam(duration_ms = 0,color = Color(r = 255, g = 0, b = 0)
)green = IndicatorParam(duration_ms = 0,color = Color(r = 0, g = 255, b = 0)
)await asyncio.gather(cube_1.api.indicator.turn_on(green), cube_2.api.indicator.turn_on(red))print("start")
await cube_1.api.id_information.register_notification_handler(id_notification_handler)
await cube_2.api.motor.register_notification_handler(motor_notification_handler)for _ in range(30):if green_cube_location is not None and red_cube_arrived:red_cube_arrived = Falseprint("cube_2: move to", str(green_cube_location))await cube_2.api.motor.motor_control_target(timeout=5,movement_type=MovementType.Linear,speed=Speed(max=100, speed_change_type=SpeedChangeType.AccelerationAndDeceleration),target=TargetPosition(cube_location=green_cube_location,rotation_option=RotationOption.AbsoluteOptimal,),)await asyncio.sleep(1)await cube_2.api.motor.unregister_notification_handler(id_notification_handler
)
await cube_1.api.id_information.unregister_notification_handler(id_notification_handler
)
print("end")
await asyncio.gather(cube_1.disconnect(), cube_2.disconnect())

在编写异步处理程序时,需要注意以下几点:

  • 不使用代码单元功能的异步处理,例如 toio.py。
  • “await”只能在异步函数中使用。(可以直接用代码单元格函数来调用)
  • 当使用像toio.py这样的异步处理时,首先要创建一个异步函数,然后用“asyncio.run()”执行该异步函数。

灯光、音乐、振动效果

这部分比较简单,因为我们不过多涉及底层的MINI制作,下面是音效、灯光播放的案例。

    async def play_midi(self, repeat: int, midi_notes: Union[list[MidiNote], tuple[MidiNote, ...]]):midi = PlayMidi(repeat, midi_notes)await self._write(bytes(midi))
class IndicatorParam:"""Indicator color and lighting period"""duration_ms: intcolor: Color"""|    RGB value"""def flatten(self):duration = clip(int(self.duration_ms / 10), 0, 255)return duration, 0x01, 0x01, *self.color.flatten()

AR效果

在这里插入图片描述
仅仅实现了角色绑定、移动控制并没有达到我们预期的效果,增加了顺序执行器,以及规则玩法代码实现后,接下来是本次demo的一个重头戏。
对于AR效果的实现,我们采用的是卡片标记法。也就是地图中心需要一个标记位,对于两个不同的角色、触发的事件卡片进行单独的标记位处理。
由于篇幅和时间原因,我们只实现一个AR标记的识别,后续其他标记的识别会逐渐完善。
我们先手绘一个标记卡,如上图。然后使用AR.js实现AR卡片的识别。
因为打开手机摄像头需要https协议(必须),这里我们使用ngrok可以很简单的做一个内网穿透,只要去ngrok官网下载ngrok客户端就好啦
在这里插入图片描述
可在手机浏览器中打开摄像头,识别特定的图片。
识别成功后显示对应的标记,模型位置会跟踪图片所在的位置,可对模型进行旋转或缩放

Ar 效果

对于后续的标记及素材可以使用NFT-Marker-Creator去不断补充需要追踪的图片:
链接: https://carnaux.github.io/NFT-Marker-Creator/#/
在这里插入图片描述
至此一个AR大富翁游戏的雏形就完成啦。但是索尼 toio™的能力还不止于此,他的检测器除了可以识别灯光、位置以外,还支持磁性感应。触碰到任意磁铁的时候可以加入随机的彩蛋事件。搭配颜色识别,可以对于监狱、银行等特殊事件进行更炫酷的联动。大家也可以开拓思维,快快上手实现自己感兴趣的应用吧。

这篇关于索尼 toio™ 应用创意开发征文|AR大富翁的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/345902

相关文章

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间

CSS中的Static、Relative、Absolute、Fixed、Sticky的应用与详细对比

《CSS中的Static、Relative、Absolute、Fixed、Sticky的应用与详细对比》CSS中的position属性用于控制元素的定位方式,不同的定位方式会影响元素在页面中的布... css 中的 position 属性用于控制元素的定位方式,不同的定位方式会影响元素在页面中的布局和层叠关

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,:本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部

使用Python开发一个现代化屏幕取色器

《使用Python开发一个现代化屏幕取色器》在UI设计、网页开发等场景中,颜色拾取是高频需求,:本文主要介绍如何使用Python开发一个现代化屏幕取色器,有需要的小伙伴可以参考一下... 目录一、项目概述二、核心功能解析2.1 实时颜色追踪2.2 智能颜色显示三、效果展示四、实现步骤详解4.1 环境配置4.

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件

Python使用Tkinter打造一个完整的桌面应用

《Python使用Tkinter打造一个完整的桌面应用》在Python生态中,Tkinter就像一把瑞士军刀,它没有花哨的特效,却能快速搭建出实用的图形界面,作为Python自带的标准库,无需安装即可... 目录一、界面搭建:像搭积木一样组合控件二、菜单系统:给应用装上“控制中枢”三、事件驱动:让界面“活”

基于Python开发一个有趣的工作时长计算器

《基于Python开发一个有趣的工作时长计算器》随着远程办公和弹性工作制的兴起,个人及团队对于工作时长的准确统计需求日益增长,本文将使用Python和PyQt5打造一个工作时长计算器,感兴趣的小伙伴可... 目录概述功能介绍界面展示php软件使用步骤说明代码详解1.窗口初始化与布局2.工作时长计算核心逻辑3

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

python web 开发之Flask中间件与请求处理钩子的最佳实践

《pythonweb开发之Flask中间件与请求处理钩子的最佳实践》Flask作为轻量级Web框架,提供了灵活的请求处理机制,中间件和请求钩子允许开发者在请求处理的不同阶段插入自定义逻辑,实现诸如... 目录Flask中间件与请求处理钩子完全指南1. 引言2. 请求处理生命周期概述3. 请求钩子详解3.1