深度学习三维重建-双目视差三维重建小笔记

2024-08-24 07:58

本文主要是介绍深度学习三维重建-双目视差三维重建小笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

记录一下深度学习进行双目三维重建看过的网络
持续更新(时不时更新)
数据集:
SceneFlow
KITTI
ETH3D
与三维有关的数据集:
TanksAndTemples
一大堆Github总结的数据集
Github大佬的笔记


-----------------------------------我是分界线------------------------------------

双目三维重建:立体匹配就4个步骤:匹配代价计算,代价聚合,计算视差,视差精化。
传统方法有必要了解,局部、非局部、全局的匹配算法都有必要了解一下,但是我没有全部过一遍,惭愧,很多方法的思路是别的算法突破的入口。
回到正题,这里要主要讲深度学习的双目视差匹配,这里并不是走到终点后的回顾,在写博客的同时在学习,会不断修正博客来整理思路。所以这里只记录双目匹配、视差网络相关的内容。序号也不会是规律的12345,而是会存在1.1/1.11/这样,都是后来插进去的重要内容。
插一个大哥总结的东西

1.0 Siamese Network

Learning a Similarity Metric Discriminatively, with Application to Face
Verification
CSDN:Siamese Network理解(附代码)
知乎:【模型解读】siamese network和triplet network原理与应用
//知乎这篇文章还讲述了triplet网络,但是这个东西在差异检测有用,在这里好像并没有什么价值,知道有这么个东西就好。
这个网络可以用来做:

  • 图像验证与匹对
  • 目标跟踪
  • 排序(估计年龄等)
    这个网络似乎很适合处理相对相似的两个场景图像,最开始是用来判断两幅图像的相似性。双目匹配就是一种相似性的密集匹配。
    这里先梳理下网络演变的线路:
    我选取的学习线路
    SceneFlow数据集最早用了FlowNet,然后Dispnet,并且数据集官方有榜单可以看。我选择了PSMNet作为学习目标,但是直接上手PSMNet难度有点大,按照这条路线来看,从简单到复杂。

2.0CVPR2016-A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation

dispnet
dispnet的前身是Flownet,文章前部分主要提了一些数据集制作的相关问题,这里的网络结构参照了光流的特性。

GC-net遍历视差,每一层视差做了一次特征图层,最终包含视差为0的情况,一共视差最大值+1层特征图,这带来了大量的空间开销。这种算法受图像分辨率限制比较严重,尤其是在测量条件下,想要提高测量精度,多数情况就是提高相机分辨率,这直接带来计算量大量提高。

这篇关于深度学习三维重建-双目视差三维重建小笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1101899

相关文章

深度解析Python中递归下降解析器的原理与实现

《深度解析Python中递归下降解析器的原理与实现》在编译器设计、配置文件处理和数据转换领域,递归下降解析器是最常用且最直观的解析技术,本文将详细介绍递归下降解析器的原理与实现,感兴趣的小伙伴可以跟随... 目录引言:解析器的核心价值一、递归下降解析器基础1.1 核心概念解析1.2 基本架构二、简单算术表达

深度解析Java @Serial 注解及常见错误案例

《深度解析Java@Serial注解及常见错误案例》Java14引入@Serial注解,用于编译时校验序列化成员,替代传统方式解决运行时错误,适用于Serializable类的方法/字段,需注意签... 目录Java @Serial 注解深度解析1. 注解本质2. 核心作用(1) 主要用途(2) 适用位置3

Java MCP 的鉴权深度解析

《JavaMCP的鉴权深度解析》文章介绍JavaMCP鉴权的实现方式,指出客户端可通过queryString、header或env传递鉴权信息,服务器端支持工具单独鉴权、过滤器集中鉴权及启动时鉴权... 目录一、MCP Client 侧(负责传递,比较简单)(1)常见的 mcpServers json 配置

Maven中生命周期深度解析与实战指南

《Maven中生命周期深度解析与实战指南》这篇文章主要为大家详细介绍了Maven生命周期实战指南,包含核心概念、阶段详解、SpringBoot特化场景及企业级实践建议,希望对大家有一定的帮助... 目录一、Maven 生命周期哲学二、default生命周期核心阶段详解(高频使用)三、clean生命周期核心阶

深度剖析SpringBoot日志性能提升的原因与解决

《深度剖析SpringBoot日志性能提升的原因与解决》日志记录本该是辅助工具,却为何成了性能瓶颈,SpringBoot如何用代码彻底破解日志导致的高延迟问题,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言第一章:日志性能陷阱的底层原理1.1 日志级别的“双刃剑”效应1.2 同步日志的“吞吐量杀手”

Unity新手入门学习殿堂级知识详细讲解(图文)

《Unity新手入门学习殿堂级知识详细讲解(图文)》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程

深度解析Python yfinance的核心功能和高级用法

《深度解析Pythonyfinance的核心功能和高级用法》yfinance是一个功能强大且易于使用的Python库,用于从YahooFinance获取金融数据,本教程将深入探讨yfinance的核... 目录yfinance 深度解析教程 (python)1. 简介与安装1.1 什么是 yfinance?

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.

深度解析Spring Security 中的 SecurityFilterChain核心功能

《深度解析SpringSecurity中的SecurityFilterChain核心功能》SecurityFilterChain通过组件化配置、类型安全路径匹配、多链协同三大特性,重构了Spri... 目录Spring Security 中的SecurityFilterChain深度解析一、Security

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499