增强现实中的光学透射式头盔显示器的应用实例

你知道如何用真实的手来操控眼前的虚拟魔方吗？

前言

       前面几篇文章，我们简要介绍了光学透射式头盔显示器（光学透视型增强现实眼镜）的基本标定方法，并分享了在该领域的一些研究心得。但是，那还仅仅是停留在理论与实验的阶段，本文将应用前面介绍过的标定技术，进行一些基本的应用。

       本文将介绍一下几个应用实例，并在最后给出这几个demo的视频链接地址。

      （1）在标志板上叠加显示3D物体

      （2）在手机屏上叠加虚拟物体

      （3）空中绘制草图实体

      （4）控制虚拟魔方

----------------------------------------------------------------------

      相关文章链接：

      增强现实中的光学透射式头盔显示器的标定初步

      增强现实中的光学透射式头盔显示器的标定进阶

      增强现实中的光学透射式头盔显示器的标定深入

-----------------------------------------------------------------------

1 在标志板上叠加显示3D物体

准备工作：

       我从网上随机找了一个凤凰图案的剪纸图，打印出来作为标志板。视觉效果图中可以看到上面密密麻麻分布着蓝色的十字线，那是我做实验测量配准误差使用的，有没有都可以。

关键点：

       前面的文章已经讲了最基本的标定方法，以及扩展深入的基本思路。如果你已经完全掌握，相信这个demo是分分钟搞定的节奏！唯一要注意的是，标定时采用的标志板尺寸要与应用时候的标志板尺寸一致。例如，如果你使用长边是0.2米的标志板，并且在Unity3D中设置该标志板的尺寸为0.2，那么当你标定完成后，做其他应用的时候采用的标志板尺寸也要符合这个规则。即假如你要跟踪的标志板为0.35米，请一定要在Unity3D中设置它的尺寸为0.35，这个很重要！

视觉效果：

       最后，可以透过头盔显示器的镜片，看到效果如下图。方块、树林和小恐龙已经成功叠加到我们预定的标志板上了。

2 在手机屏上叠加虚拟物体

准备工作：

       先找到一张合适的图，然后将它拷贝到手机上，这样手机屏幕就可以作为跟踪对象了。我采用的图是一幅风景图案：

关键点：

       本例子和上一个是相似的，唯一的不同在于，手机屏幕反光严重，给摄像头捕捉带来困难。幸运的是，我的手机还贴了磨砂膜，稍微好一些。直接将其作为跟踪对象，在视野中晃一晃，你就能看到叠加的虚拟物体了。 

视觉效果：

       我是把一个旋转的机器人叠加到了手机屏幕上，这样就好像让手机屏幕显示了一个“全息影像”一样。当然，这里的全息指的不是科学意义上的全息，仅仅指的是多视角可视的三维虚拟成像。

3 空中绘制草图实体

准备工作：

       如果想用手在空中绘制一些图画，必须要跟踪手的位置。我们建议采用leap motion 做为跟踪手的传感器，同样使用前面的标定方法，可以建立leap motion坐标系和人眼-HMD虚拟摄像机坐标系之间的联系。这个传感器经常配合虚拟现实HMD使用，我们将它用在增强现实HMD上，同样惊艳。

关键点：

       由于标定中需要一个marker，可以使用食指指尖作为marker，但是由于leap motion本身跟踪误差的存在，以及每个用户对指尖位置的不同定义，标定很容易引入较大误差。建议多选取几组对应点，以尽可能减小误差。 

视觉效果：

       尽管笔者绘画水平不敢恭维，但是能在空中绘画，也是极好的。想象神笔马良的神笔，画什么就能变成真的，现在我们也可以哦。

4 控制虚拟魔方

准备工作：

       与第3个demo类似，我们需要一个leap motion传感器。当然为了实现较好的效果，我们还需要一个比较精致的魔方模型。我采用的模型是直接从网上下载的。

关键点：

       需要对魔方模型进行一些碰撞体设置，以使得它可以支持单面的转动操作。 

视觉效果：

       我们可以用手移动虚拟魔方的位置，然后也可以用手指转动每一个面，最终恢复魔方。

5 视频链接

       由于试了好久也无法直接上传视频到博客，所以我将本文涉及到的视频上传到了优酷，地址是： 

        http://v.youku.com/v_show/id_XMTg0MzI5MTMxMg==.html?spm=a2hzp.8244740.userfeed.5!2~5~5~5!3~5~A

小结

       本文介绍了几种基于光学透射式头盔显示器的AR应用实例，包括显示和交互等等。未来可能会做更多的尝试，敬请关注。