webAR涉及的技术 – milli236的博客 – CSDN博客

2023-10-27 20:50

本文主要是介绍webAR涉及的技术 – milli236的博客 – CSDN博客,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录 [隐藏]
  • webAR涉及的技术

webAR涉及的技术

2017年11月30日 09:26:13
milli236
阅读数:2575


标签:
ARWebARwebAR技术AR技术
更多

个人分类:
移动开发

1.技术体系

1.1技术体系整理

resize,m_fill,w_1104,h_1058#

其中绿色底色的代表Demo中表现出的能力比较成熟,可以直接应用。

脑图地址:http://naotu.baidu.com/file/3392a895a903972520b2f65fda12ee3c?token=55695cff60c6e275

1.2 兼容性

Web AR的兼容性,可以认为是其用到两大核心技术的兼容性:

WebRTC:

resize,m_fill,w_1104,h_314#

WebGL:

resize,m_fill,w_1106,h_312#

1.3案例分析

公司的王者荣耀貂蝉AR广告, 《Web前端也能做的AR互动》

实际上就是一个基于Three.js渲染模型,并自行基于Three.js实现空间定位的一个AR应用。效果类似的是awe.js的空间定位功能,下面的Demo中有提供。

其开发模式为:

UI开发

  • 开发or导出貂蝉游戏人物模型

  • 开发人物皮肤贴图纹理

  • 开发模型动画

  • 使用3D软件导出Three.js支持的模型格式(这里看似简单,实际有大坑,不同的模型、骨骼、贴图、动画,导出时会有不同问题,还要控制模型资源大小,不能过大)

前端开发

  • · WebGL全景场景(不支持WebRTC设备柔性降级)

  • · 空间定位开发

  • · 模型渲染

  • · 交互与动画控制

  • · 终端适配

2.业界相关的库及Demo

整理了部分Demo:https://artoolkittest.sparta.html5.qq.com/

2.1JsArtoolkit

Artoolkit的js版本,支持pat marker和nft marker的识别与跟踪,配合threejs可渲染模型,目前的问题是nft marker跟踪的帧率不高。

JsArtoolkit的项目地址为:https://github.com/artoolkit/jsartoolkit5

Pat识别

https://artoolkittest.sparta.html5.qq.com/pat/examples/pattern_and_barcode_threejs.html

效果较好:

resize,m_fill,w_986,h_736#

Nft识别

https://artoolkittest.sparta.html5.qq.com/nft/examples/nft_worker_threejs.html

2.2 Awejs

基于jsartoolkit实现了图片marker识别,并封装了空间定位能力,提供了AR/VR设备体验版本的Demo。

Awejs的项目地址为:https://github.com/buildar/awe.js

pat识别

https://artoolkittest.sparta.html5.qq.com/awe/examples/marker_ar/

resize,m_fill,w_1082,h_886#

空间定位

此Demo需要在手机中打开

https://artoolkittest.sparta.html5.qq.com/awe/examples/geo_ar/

resize,m_fill,w_528,h_940#

结合Oculus Rift

暂未调研

结合体验仪器的体验(Google Glass、Kinect(XBOX体感外设))

暂未调研

2.3 JsObjectDetect

JsObjectDetect亮点功能在人脸和手势识别跟踪方面的表现,且能识别、跟踪人脸五官。

JsObjectDetect的项目地址:https://github.com/mtschirs/js-objectdetect/

人脸、五官识别

该Demo提供了人脸识别能力(嘴巴、眼睛、鼻子),从图片识别:

https://artoolkittest.sparta.html5.qq.com/jsobjectdetect/examples/example_image.htm

resize,m_fill,w_760,h_916#

识别+跟踪

https://artoolkittest.sparta.html5.qq.com/jsobjectdetect/examples/example_sunglasses.htm

从效果来看,该库是Web AR中少有的人脸识别跟踪效果较好,且帧率较高的AR库。下面的Demo中可以选择一款眼镜,Demo识别到人脸后把眼镜放在眼部并跟踪。

resize,m_fill,w_1152,h_354#

另外,http://facedetection.jaysalvat.com/ 这是一个基于js-objectdetect的人脸识别jquery插件,可以识别图片和视频中的人脸,没有提供摄像头帧实时识别的Demo,估计是此插件计算性能应该跟不上,帧率不会高。

性能

JsObjectDetect自称人脸识别方面能力和效果秒杀其他库:

Chrome 40 / FF 35Detections per SecondDetectionsSeconds
js-objectdetect17.5 / 16.950 / 502.86 / 2.96
jsfeat9.4 / 6.330 / 303.18 / 4.75
tracking.js7.7 / 8.9748 / 486.24 / 5.35
Beyond Reality Face7.4 / 1.741 / 415.50 / 23.98
CCV2.2 / 4.48 / 82.22 / 1.80

手势控制3D模型

用手势控制3 D模型的姿态,可以控制,但是效果不佳,有点莫名其妙的意思。

https://artoolkittest.sparta.html5.qq.com/jsobjectdetect/examples/example_gesture_input.htm

resize,m_fill,w_1106,h_592#

手势翻页

用手势控制网页翻页,手在镜头下部时向下翻页,在镜头上部时向上翻页,点红框内链接开始。

https://artoolkittest.sparta.html5.qq.com/jsobjectdetect/examples/example_gesture_scroll.htm

resize,m_fill,w_1108,h_382#

2.4 Tracking.js

Tracking.js提供了人脸识别的能力,但是在浏览器里边表现不佳。另外,这个库还提供了显示识别特征点等能力。

tracking.js的项目地址为:https://github.com/eduardolundgren/tracking.js/

tracking.js的 Demo列表:https://trackingjs.com/examples/brief_camera.html

https://trackingjs.com/examples/face_fish_tank.html

tracking.js人脸+姿态 帧率不高 17.5 fps

resize,m_fill,w_1152,h_444#

2.5 caffejs

Caffejs支持在Web中运行神经网络功能,该项目提供了一些示例模型的演示。

如果能有一套成熟的方案把这个库包装一下用起来,意义还是挺大的:将图片识别的工作放在浏览器中完成,可以节省大量的网络流量和服务器资源。

但是目前浏览器中做识别由于性能原因,识别耗时较长,不能太过频繁的识别。

项目地址:https://github.com/chaosmail/caffejs

2.6 其他

CCV

http://wesbos.com/demos/html5-face-detection/

基于CCV的人脸识别demo

resize,m_fill,w_1042,h_588#

帧率并不高,没有深入看

Jsfeat

暂未研究

Beyond Reality Face

暂未研究

3.总结

目前Web AR业界已经有了一定的技术积累,但是还没有达到成熟可用的地步,用一句话概括一下:底层识别能力弱,上层渲染能力强。

3.1底层能力

Marker识别方面,jsartoolkit的pat模式识别跟踪效果不错,但是nft识别速度慢,且卡顿,无法达到可以应用的地步。

人脸识别方面,JsObjectDetect的表现还算不错,可以识别、跟踪人脸以及五官位置,据观察应该是只支持2D坐标的识别,不支持3D姿态的识别。

手势识别方面,JsObjectDetect支持手势识别能力,根据其提供的Demo来看,识别是可以识别,但是不够稳定,经常识别丢,难以在现实项目中应用。

图像识别方面,之前经x哥介绍看了下caffejs这个Web神经网络的项目,目前是官方的Demo可以跑起来,但是我们自己训练的模型跑出来结果不对。

3.2上层渲染

模型渲染,目前看到的Web中主流3D模型渲染方式是Three.js,做Web AR方面的开发,无论底层能力采用何种方案,都是必须系统学习一下Three.js的。

3D模型开发,需要专业的UI开发工程师来开发3D模型、贴图以及动画,涉及到maya、3Dmax等软件的学习。

模型导出,3D模型要让Three.js能够使用,需要导出成特定格式,导出的过程中因模型、动画的不同,会有一些坑。另外资源大小的优化、压缩也是一个问题。

Measure
Measure

这篇关于webAR涉及的技术 – milli236的博客 – CSDN博客的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/cpongo3/article/details/93623862
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/288318

相关文章

Qt如何实现文本编辑器光标高亮技术

《Qt如何实现文本编辑器光标高亮技术》这篇文章主要为大家详细介绍了Qt如何实现文本编辑器光标高亮技术,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录实现代码函数作用概述代码详解 + 注释使用 QTextEdit 的高亮技术(重点)总结用到的关键技术点应用场景举例示例优化建议

Java中的登录技术保姆级详细教程

《Java中的登录技术保姆级详细教程》:本文主要介绍Java中登录技术保姆级详细教程的相关资料,在Java中我们可以使用各种技术和框架来实现这些功能,文中通过代码介绍的非常详细,需要的朋友可以参考... 目录1.登录思路2.登录标记1.会话技术2.会话跟踪1.Cookie技术2.Session技术3.令牌技

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

Java使用WebView实现桌面程序的技术指南

《Java使用WebView实现桌面程序的技术指南》在现代软件开发中,许多应用需要在桌面程序中嵌入Web页面,例如,你可能需要在Java桌面应用中嵌入一部分Web前端,或者加载一个HTML5界面以增强... 目录1、简述2、WebView 特点3、搭建 WebView 示例3.1 添加 JavaFX 依赖3

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业