为短焦VR和轻量AR而生,Tobii展示最新微型眼球追踪模组

2023-10-21 18:50

本文主要是介绍为短焦VR和轻量AR而生,Tobii展示最新微型眼球追踪模组,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作为自然交互方式,眼球追踪和手指追踪未来将成为VR体验的关键部分,因此这两种技术的发展也备受关注。在AWE 2022期间,Tobii和Ultraleap分别展示了最新的眼球追踪和手势追踪技术,以及它们的各类应用场景。

比如,Skarredghost就体验了集成Tobii眼球追踪模块的Neo 3 Pro Eye。这次体验的内容有五种:注视点渲染、VR培训、虚拟化身社交、眼球输入和投掷游戏。另外,Tobii还展示了一款眼镜形态的原型设备。

1)注视点渲染:使用Pico Neo 3 Pro Eye体验了一个以完整刷新率运行的场景,这个场景可以开启基于眼球追踪的实时照明。相比于预烘焙的光影,实时照明的好处是让视觉观感更加生动。但是,通常运行实时照明会降低刷新率,降低渲染效果的稳定性,这也是为什么Pico Neo 3、Quest 2等消费级VR一体机并不支持实时照明渲染。

2)VR培训:在培训场景中,参与者是否在合适的时机将注意力放在每一个步骤中,是评判培训效果的一项重要指标。使用眼球追踪,培训应用可追踪学员的注视点变化是否与操作顺序符合,是否在正确时机查看对应的按钮。

3)利用眼球追踪功能来控制虚拟化身的眼球,体验者表示:当适应了眼球追踪版本的虚拟化身后,眼球固定的虚拟化身看起来就不自然了。

4)眼球追踪控制UI:Tobii展示了一种结合VR手柄和眼球输入的交互方式,即通过注视点锁定/选择菜单中的按钮,然后按下手柄上的扳机来确定,无需移动手柄来进行选择。如果眼球追踪的速度和准确性足够好,这种混合的菜单交互方式会比传统手柄输入更加自然、灵敏。

也就是说,VR界面操作更加实用、流畅,无需移动双手。就像在现实生活中那样,人眼主要用来查看/探索周围环境和事务,通常不是用于交互。因此在VR中,眼球输入不应该只依赖注视点数据,配合手柄来输入会更加自然。而且,如果用注视点来触发菜单按钮,那么由于人眼移动速度快,会容易产生误触。

5)演示投掷物体:目前,在VR中准确模拟自然的投掷体验并不容易,人们常常无法只依靠注视来投中物体,失误率较高。因此,为了提升投掷体验感,Tobii演示了一种利用注视点来瞄准目标,然后调节投掷路径的应用。甚至,结合眼球追踪功能,还可以让手势瞄准更加准确。

Tobii硬件

硬件方面,Tobii眼球追踪模块由微型相机和一系列LED照明元件组成,其结构为环状,可叠加在VR头显的光学模组上。Tobii基于红外传感,因此采用了红外LED和红外相机。

另一个用于追踪眼球的有趣技巧是在头显镜头和显示器之间添加一个倾斜45°的反射镜,镜子的目的是将人眼图像反射到侧面的摄像头传感器中。这个反射镜只反射红外光,而忽略可见光。这也是Vive Pro Eye采用的方案。

不过,目前VR头显正在探索折叠光路、短焦等轻量化方案,现有的眼球追踪模组并不再适用。为此,Tobii已经找到一种全新的眼球追踪方式,采用微型红外相机,应用在眼镜形态的产品中,看起来就像是非常小的点。

Tobii不仅将缩小眼球追踪相机的尺寸,还会保持高分辨率300x200左右。Tobii为该方案设计了一个眼镜外观的原型设计,上面搭载的微型相机看起来就像是小小的尘埃颗粒。在放大后,可以看到微型相机复杂的内部构造。

这也是Tobii对接下来Pancake短焦VR、以及轻量化的AR眼镜提供的一个设计思路。当然,​Magic Leap也是类似的设计思路。

Skarredghost还向Tobii询问了关于PS VR2是否建立合作的情况,Tobii暂未给出回复。

Ultraleap

除此之外,Skarredghost还体验了Ultraleap在Varjo XR-3头显上展示的IR-170手势追踪模块。他表示:Ultraleap手势追踪效果足够稳定,即使手放在头显视场角外,也能在看不见的地方持续追踪和操作。比如,可以用手抓住视觉边缘的物体,并放在眼前。在RGB透视AR模式中,Ultraleap手势追踪效果也足够好。

除了VR外,Ultraleap也展示了3Di手势追踪模块,可以应用于2D平台,比如智能屏幕、手机、电脑等等。参考:Skarredghost

这篇关于为短焦VR和轻量AR而生,Tobii展示最新微型眼球追踪模组的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/qingtingwang/article/details/125414274
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/256285

相关文章

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Qt QCustomPlot库简介(最新推荐)

《QtQCustomPlot库简介(最新推荐)》QCustomPlot是一款基于Qt的高性能C++绘图库,专为二维数据可视化设计,它具有轻量级、实时处理百万级数据和多图层支持等特点,适用于科学计算、... 目录核心特性概览核心组件解析1.绘图核心 (QCustomPlot类)2.数据容器 (QCPDataC

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

MySQL追踪数据库表更新操作来源的全面指南

《MySQL追踪数据库表更新操作来源的全面指南》本文将以一个具体问题为例,如何监测哪个IP来源对数据库表statistics_test进行了UPDATE操作,文内探讨了多种方法,并提供了详细的代码... 目录引言1. 为什么需要监控数据库更新操作2. 方法1:启用数据库审计日志(1)mysql/mariad

python 常见数学公式函数使用详解(最新推荐)

《python常见数学公式函数使用详解(最新推荐)》文章介绍了Python的数学计算工具,涵盖内置函数、math/cmath标准库及numpy/scipy/sympy第三方库,支持从基础算术到复杂数... 目录python 数学公式与函数大全1. 基本数学运算1.1 算术运算1.2 分数与小数2. 数学函数

Python Pillow 库详解文档(最新推荐)

《PythonPillow库详解文档(最新推荐)》Pillow是Python中最流行的图像处理库,它是PythonImagingLibrary(PIL)的现代分支和继承者,本文给大家介绍Pytho... 目录python Pillow 库详解文档简介安装核心模块架构Image 模块 - 核心图像处理基本导入

Python变量与数据类型全解析(最新整理)

《Python变量与数据类型全解析(最新整理)》文章介绍Python变量作为数据载体,命名需遵循字母数字下划线规则,不可数字开头,大小写敏感,避免关键字,本文给大家介绍Python变量与数据类型全解析... 目录1、变量变量命名规范python数据类型1、基本数据类型数值类型(Number):布尔类型(bo