《3D ISP核心技术算法》系列(1)——ToF测量中的多径现象与消除方法

2024-01-11 16:32

本文主要是介绍《3D ISP核心技术算法》系列(1)——ToF测量中的多径现象与消除方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《3D ISP核心技术算法》系列文章是上海数迹智能科技有限公司结合自身多年来在3D ISP技术方向上的积累,推出的系列型科普文章。系列文章将对影响3D成像质量的主要问题逐一进行讲解,深入浅出的介绍问题出现的原理机制和解决方法,旨在促进3D视觉从成像到感知的应用工程实践,真正实现慧视界、智未来。

本篇文章作为该系列的第一篇文章,将对iToF在复杂场景下的最主要环境误差源之一的多径误差进行介绍。

多径是无线通信领域中一个常见术语,具体含义是指无线电信号从发射天线经过多个路径抵达接收天线的传播现象。各分量相互叠加,会导致信号的衰落和相移,对系统造成不良影响[25]。ToF向场景中主动发射(近)红外光,传感器接收场景中对应目标的反射光信号,利用(近)红外光的飞行时间计算深度。由于光在场景中会发生多次反射与折射,每个像素接收的信号包含多个路径的反射光,面临相似的多径问题,导致深度测量的误差。

目前的ToF设备根据测量原理的不同,分为dToF和iToF两类。虽然多径现象是发生在场景中,但是由于测量原理的不同,多径对两类ToF的影响不一样,呈现出来的误差形式也不一样。dToF每个像素对曝光时间内所有接收信号的飞行时间做直方图统计,多径虽然会改变直方图的分布,从理想的单峰分布变成多峰分布。但是直达径信号对应的柱仍然会是峰值,dToF的多径消除方法只需要排除多个干扰项。对于iToF而言,每个像素把所有的接收信号当做一个合成信号处理,经过一系列非线性计算得到一个深度值,无法从该深度值中直接恢复出正确深度值。所以,iToF的多径消除更加困难。此外,由于dToF的研究起步晚,市面上的产品较少,dToF的数据获取比iToF更难。因此,目前关于多径的研究大多数都是基于连续正弦波调制的iToF(CW-ToF)。

本文围绕iToF展开,介绍多径的影响、成因以及消除方法。在多径的消除方法部分,我们主要调研了2011-2018年关于多径的论文。由于篇幅限制,在文中展开介绍了其中具有代表性的4篇。感兴趣的读者可以根据本文最后的参考文献自行查阅,有问题可以联系我们,一起交流,共同探讨。

 

首先,让我们先来了解一下理想的iToF成像原理。

iToF相机向目标场景发射调制光,并由传感器接收目标场景反射回来的调制光,通过计算发射光和反射光的相位差来计算每一个像素点到相机的距离。理想的iToF成像满足如下假设,发射信号在场景中只经过一次反射,传感器的接收信号只包含一次反射光和环境光,如式(1)所示。 

 其中,\alpha是接收信号的幅值,\beta是环境光分量,\Delta \varphi就是发射信号和接收信号的相位差。由于相位差无法通过一次测量直接获得,常见的相位差求解方法是Four-Sampling-Bucket算法[1]。该算法首先计算参考信号和接收信号的自相关 h\left ( \tau \right ),参考信号是发射信号经过相位移动τ后得到的信号。

然后对 \tau 采样,取3-4个值就可以计算出相位差。通常是四次采样, 

得到相位差之后,结合式(4),就可以计算深度:

前文提到,理想的iToF成像假设发射信号在场景中只经过一次反射。然而,实际的成像过程中,光线会在场景中发生多次反射和折射,这也就意味着实际接收信号可能包含若干(甚至无数)个子信号,

其中, \varphi _{0} 项对应的是直达径(direct path),剩下的 \varphi _{i} 项则是对应的间接路径(indirect path),也就是多径干扰成分。通过四次采样计算得到的相位差也不再是式(3)所描述的,而是如式(6)所示: 

 最简单的多径模型是Two-path模型,反射信号中只有一个直达径和一个多径分量,如式(7)所示:

多径现象在ToF测量中始终存在。

这篇关于《3D ISP核心技术算法》系列(1)——ToF测量中的多径现象与消除方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/594980

相关文章

使用python生成固定格式序号的方法详解

《使用python生成固定格式序号的方法详解》这篇文章主要为大家详细介绍了如何使用python生成固定格式序号,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录生成结果验证完整生成代码扩展说明1. 保存到文本文件2. 转换为jsON格式3. 处理特殊序号格式(如带圈数字)4

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流(parallelStream)的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS

MySQL数据库双机热备的配置方法详解

《MySQL数据库双机热备的配置方法详解》在企业级应用中,数据库的高可用性和数据的安全性是至关重要的,MySQL作为最流行的开源关系型数据库管理系统之一,提供了多种方式来实现高可用性,其中双机热备(M... 目录1. 环境准备1.1 安装mysql1.2 配置MySQL1.2.1 主服务器配置1.2.2 从

Python版本信息获取方法详解与实战

《Python版本信息获取方法详解与实战》在Python开发中,获取Python版本号是调试、兼容性检查和版本控制的重要基础操作,本文详细介绍了如何使用sys和platform模块获取Python的主... 目录1. python版本号获取基础2. 使用sys模块获取版本信息2.1 sys模块概述2.1.1

Python实现字典转字符串的五种方法

《Python实现字典转字符串的五种方法》本文介绍了在Python中如何将字典数据结构转换为字符串格式的多种方法,首先可以通过内置的str()函数进行简单转换;其次利用ison.dumps()函数能够... 目录1、使用json模块的dumps方法:2、使用str方法:3、使用循环和字符串拼接:4、使用字符

Python版本与package版本兼容性检查方法总结

《Python版本与package版本兼容性检查方法总结》:本文主要介绍Python版本与package版本兼容性检查方法的相关资料,文中提供四种检查方法,分别是pip查询、conda管理、PyP... 目录引言为什么会出现兼容性问题方法一:用 pip 官方命令查询可用版本方法二:conda 管理包环境方法

Linux云服务器手动配置DNS的方法步骤

《Linux云服务器手动配置DNS的方法步骤》在Linux云服务器上手动配置DNS(域名系统)是确保服务器能够正常解析域名的重要步骤,以下是详细的配置方法,包括系统文件的修改和常见问题的解决方案,需要... 目录1. 为什么需要手动配置 DNS?2. 手动配置 DNS 的方法方法 1:修改 /etc/res

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

JavaScript对象转数组的三种方法实现

《JavaScript对象转数组的三种方法实现》本文介绍了在JavaScript中将对象转换为数组的三种实用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友... 目录方法1:使用Object.keys()和Array.map()方法2:使用Object.entr

SpringBoot中ResponseEntity的使用方法举例详解

《SpringBoot中ResponseEntity的使用方法举例详解》ResponseEntity是Spring的一个用于表示HTTP响应的全功能对象,它可以包含响应的状态码、头信息及响应体内容,下... 目录一、ResponseEntity概述基本特点:二、ResponseEntity的基本用法1. 创