【iOS ARKit】手动配置环境探头

2024-02-01 06:28

本文主要是介绍【iOS ARKit】手动配置环境探头,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        在上节中我们已经了解了环境探头以及如何使用自动环境探头,这节一起了解如何使用手动配置环境探头。

     在使用自动环境反射时,开发人员无须进行有关环境反射的任何操作,只需要设置自动环境反射即可,其余工作完全由 RealityKit 自动完成,这适用于基本的常见环境反射。但这种环境反射方案是一种普适性的反射,并没有专门针对某特定虚拟元素进行优化,在某些情况下效果并不精细,并且我们也无法进行干预调优,如一辆行驶的赛车对环境的反射就需要更精细的控制,这时就需要手动控制环境探头的生成及更新。

     使用手动控制环境探头时,我们需要将配置中 environmentTexturing 属性设置为 manual,并决定在什么地方、什么时候设置与更新环境探头。通常而言,可以遵循以下流程:

(1) 在场景中某个特定位置创建 AREnvironmentProbeAnchor 锚点。

(2)将创建的 AREnvironmentProbeAnchor 锚点添加到 ARSession 中。

(3)使用 session(_:didUpdate:)代理方法根据需要更新环境探头。

使用手动方式控制环境探头的示例代码如下所示。

//
//  ManualEnvirmentTexturing.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/1/30.
//import SwiftUI
import ARKit
import RealityKitstruct ManualEnvirmentTexturing: View {@State var automatic: Bool = truevar body: some View {ManualEnvirmentTexturingContainer(automatic: $automatic).overlay(content: {VStack {Spacer()HStack{Text(automatic ? "HDR" : "HDR Off").background(GeometryReader{ _ inColor.white}).padding(10).offset(x: 0)Toggle(isOn: $automatic) {}.frame(width: 50).offset(x: 0)}Spacer().frame(height: 40)}}).edgesIgnoringSafeArea(.all).navigationTitle("环境探头")}}struct ManualEnvirmentTexturingContainer:UIViewRepresentable {@Binding var automatic: Boolfunc makeUIView(context: Context) -> ARView{let arView = ARView(frame: .zero)return arView}func updateUIView(_ uiView: ARView, context: Context) {let config = ARWorldTrackingConfiguration()config.planeDetection = .horizontalconfig.environmentTexturing = .manualcontext.coordinator.arView = uiViewuiView.session.delegate = context.coordinatorif automatic {config.wantsHDREnvironmentTextures = true}else{config.wantsHDREnvironmentTextures = false}uiView.session.run(config, options: [])}func makeCoordinator() -> Coordinator {Coordinator(parent: self)}class Coordinator: NSObject,ARSessionDelegate {var manualProbe: ManualProbe?var arView: ARView? = nilvar parent: ManualEnvirmentTexturingContainerinit(parent: ManualEnvirmentTexturingContainer) {self.parent = parent}func session(_ session: ARSession, didAdd anchors: [ARAnchor]) {guard let anchor = anchors.first as? ARPlaneAnchor else {return}//球体let mesh = MeshResource.generateSphere(radius: 0.05)let meterial = SimpleMaterial(color: .blue, isMetallic: true)let modelEntity = ModelEntity(mesh: mesh, materials: [meterial])let planAnchor = AnchorEntity(anchor: anchor)//放在正上方5cm处modelEntity.transform.translation = [0, planAnchor.transform.translation.y + 0.05,0]manualProbe = ManualProbe(shpereEntity: modelEntity)updateProbe()planAnchor.addChild(manualProbe!.shpereEntity)arView?.scene.addAnchor(planAnchor)//只添加一次session.delegate = nilsession.run(ARWorldTrackingConfiguration())manualProbe?.isPlaced = true}func session(_ session: ARSession, didUpdate frame: ARFrame) {if let manualProbe = manualProbe,manualProbe.requireRefresh,Date().timeIntervalSince1970 - manualProbe.lastUpadateTime > 1{self.manualProbe?.lastUpadateTime = Date().timeIntervalSince1970updateProbe()}}func  updateProbe() {guard let manualProbe = manualProbe else {return}//移除旧的if let probAnchor = manualProbe.objectProbeAnchor {self.arView?.session.remove(anchor: probAnchor)self.manualProbe?.objectProbeAnchor = nil}var extent = (manualProbe.shpereEntity.model?.mesh.bounds.extents)! * manualProbe.shpereEntity.transform.scaleextent.x *= 3extent.y *= 3extent.z *= 2//            let verticalOffset = SIMD3(0, extent.y, 0)
//            var probeTransform = manualProbe.shpereEntity.transform
//            probeTransform.translation += verticalOffsetlet  position = simd_float4x4(SIMD4(1,0,0,0),SIMD4(0,1,0,0),SIMD4(0,0,1,0),SIMD4(manualProbe.shpereEntity.transform.translation,1))self.manualProbe?.objectProbeAnchor = AREnvironmentProbeAnchor(name: "objectProbe",transform: position, extent:extent)self.arView?.session.add(anchor: (self.manualProbe?.objectProbeAnchor)!)}}}struct ManualProbe {var objectProbeAnchor: AREnvironmentProbeAnchor?var requireRefresh = truevar lastUpadateTime = Date().timeIntervalSince1970var dateTime = Date()var shpereEntity: ModelEntityvar isPlaced = false
}

       在代码中,为更好地组织代码,我们自定义了 ManualProbe 类管理环境探头。在 ARKit 检测到水平平面并放置圆球后,将生成的环境探头放置在園球上方5cm 的地方以更精准地反射圆球的周边环境。在 session(_:didUpdate:)代理方法中我们对环境探头更新率进行了控制,设置为每秒更新一次,与所有的 ARAnchor一样,AREnvironmentProbeAnchor 锚点无法修改,更新时只能移除原锚点信息,创建新的锚点使用。updateProbe()方法负责所有的环境探头更新操作(具体细节稍后详述)。通过及时地更新就能反射用户环境中动态的变化,效果如图所示。

       手动放置环境探头主要是为了获得对特定虚拟对象的最精确环境反射信息,绑定环境探头与虚拟对象位置可以提高反射渲染的质量,因此,手动将反射探头放置在重要的虚拟对象中或其附近会产生为该对象生成最准确的环境反射信息。通常而言,自动放置可以提供对真实环境比较好的宏观环境信息,而手动放置能提供在某个特定点上对周围环境更准确的环境映射从而提升反射的质量。

      反射探头负责捕获环境纹理信息,每个反射探头都有一个比例(Scale)、方向(Orientation)、位置(Position) 和大小(Size)。比例、方向和位置属性定义了反射探头相对于 ARSession 空间的空间信息,大小则定义了反射探头反射的范围,无限大小表示环境纹理可用于全局,而有限大小表示反射探头只能捕获其周围特定区域的环境信息。

在手动放置时,为了使放置的反射探头能更好地发挥作用,通常反射探头的放置位置与大小设置应遵循以下原则:

(1)反射探头的位置应当放在需要反射的虚拟物体顶部中央,高度应该为虚拟物体高的两倍,如下图所示。这可以确保反射探头下部与虚拟物体下部对齐,并捕获到虚拟物体放置平面的环境信息。

(2)反射探头的长与宽应该为虚拟物体长与宽的3倍,确保反射探头能捕获到虚拟物体周边的环境信息。

  • 提示:使用手动处理环境反射时,我们也可以使用 wantsHDREnvironmentTextures 提高反射质量。

性能优化

       在AR 中使用反射探头反射环境可以大大增强虚拟物体的可信度,但由于AR摄像头获取的环境信息不充分,ARKit 只能得到摄像头拍摄的真实环境部分数据,而无法获取摄像头未拍摄部分的环境数据,需要利用人工智能的方式对不足信息进行补充,需要补充的信息计算量大,对资源要求高,这对移动平台的性能与电池续航提出了非常高的要求,因此为更好的扬长避短,在AR 中使用反射探头反射真实环境需要注意以下几点。

1. 避免精确反射

     如上所述,AR中从摄像头获取的信息不足以对周围环境进行精准再现,因此反射体对环境的反射也不能做到非常精准,希望利用反射探头实现对真实环境的镜面反射是不现实的。因为在 AR 中不能获取完全的立方体贴图并且立方体贴图更新也不实时(为降低硬件消耗),通常在小面积上可以使用高反射率而在大面积上使用低反射率,达到既营造反射效果又避免反射不准确而带来的负面作用。

2. 对移动对象的处理

     烘焙的环境贴图不能反映环境的变化,实时的反射探头又会带来过大的性能消耗,对移动对象的反射处理需要特别进行优化。在设置反射探头时可以考虑以下方法:

(1)如果移动物体移动路径可知或可以预测,可以提前在其经过的路径上放置多个反射探头并进行烘焙,这样移动物体可以根据距离的远近对不同的反射探头生成的立方体贴图采样。

(2)创建一个全局的环境反射,如Skybox,这样当移动物体移动出某个反射探头的范围时仍然可以反射而不是突然出现反射中断。

(3)当移动物体移动到一个新的位置后重新创建一个反射探头并销毁原来位置的反射探头。

3. 防止滥用

     在AR中,当用户移动位置或者调整虚拟对象大小时,应用程序都会重新创建反射探头,因此我们需要限制此类更新,如更新频率不应大于1次每秒。

4.避免突然切换

      突然地移除反射探头或者添加新的反射探头会让用户感到不适。在 ARKit 中使用自动放置反射探头的模式下,只要 ARSession启动,就会创建一个全局的类似 Skybox 的大背景以防止反射突然切换。在手动放置时,开发者应该确保反射的自然过渡,确保虚拟物体始终能反射合适的环境,或者使用一个全种环境下都能适应的静态立方体贴图作为过渡手段。

具体代码地址:https://github.com/duzhaoquan/ARkitDemo.git

这篇关于【iOS ARKit】手动配置环境探头的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/666343

相关文章

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

Linux下进程的CPU配置与线程绑定过程

《Linux下进程的CPU配置与线程绑定过程》本文介绍Linux系统中基于进程和线程的CPU配置方法,通过taskset命令和pthread库调整亲和力,将进程/线程绑定到特定CPU核心以优化资源分配... 目录1 基于进程的CPU配置1.1 对CPU亲和力的配置1.2 绑定进程到指定CPU核上运行2 基于

Spring Boot spring-boot-maven-plugin 参数配置详解(最新推荐)

《SpringBootspring-boot-maven-plugin参数配置详解(最新推荐)》文章介绍了SpringBootMaven插件的5个核心目标(repackage、run、start... 目录一 spring-boot-maven-plugin 插件的5个Goals二 应用场景1 重新打包应用

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》:本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素