【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。

2023-12-29 20:38
文章标签 实现 技术 opencv 镜头 采用 映射 还原 鱼眼 校正 全景图

本文主要是介绍【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

相关文章：

【1】windows下安装OpenCV（4.3）+VS2017安装+opencv_contrib4.3.0配置

【2】Visual Studio 2017同时配置OpenCV2.4 以及OpenCV4.3

【3】opencv_contrib4.3.0库配置+opencv安装

【4】配置和运行Opencv常见的一些问题总结，以及bug解决。

【5】OpenCV2.4.9实现图像拼接与融合方法【SURF、SIFT、ORB、FAST、Harris角点 、stitch 】

【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。

本文出现的数据结果和码源见：https://download.csdn.net/download/sinat_39620217/18269941

特别提示：opencv安装配置详情请参考相关文章【1】【2】【3】【4】

采用映射技术实现鱼眼镜头校正

鱼眼镜头是一种视角达到了180° 甚至更高的广角镜头，超过了人类的肉眼所能看到的范围，且一般以固定姿态方式工作不需要旋转和扫描，因此鱼眼镜头能在视频监控、机器视觉、机场消防安全等公共安全风险防控等领域发挥巨大作用。

1.鱼眼镜头基础理论

鱼眼镜头是一种特殊的广角镜头，视角范围大，焦距短。由于鱼眼镜头前端第一个透镜向外凸出，跟鱼的眼睛很像，所以被命名为鱼眼镜头，如图1.1所示。

                                                                                                                                                                                               图1.1鱼眼模型和鱼眼镜头

鱼眼镜头一般由十几个不同的透镜组成。当光线投射到鱼眼镜头时，经过最外面的两个镜头发生折射，使入射角变小，光线通过后面的镜头时，折射角基本不改变，最终投影到成像平面上。鱼眼相机多元件的结构构造以及光线入射变化如图1.2所示：

                                                                                                                                                                               图1.2 鱼眼相机构造及入射光线变化图

鱼眼镜头成像模型，由于鱼眼镜头结构复杂，研究鱼眼相机成像过程中，将其简化为单位球面。如图1.3所示，球面成像过程大致分为两步：第一步，连接三维空间中的点与单位球的球心，相交于球面，其中鱼眼相机所在坐标系的原点即为球心坐标；第二步，将相交在球面上的点映射到图像平面上。此时在平面上的点即为空间点通过鱼眼镜头所成的像点，这就是简化后的鱼眼相机成像过程

                                                                                                                                                                                    图1.3鱼眼图像成像原理图

普通相机是以针孔相机模型成像，在成像过程中，实际场景中的物体按一定的比例放大或缩小成图像中的物体，不会有拉伸或形变的产生。同时普通相机成像的视角小，所包含的景物信息少。而鱼眼镜头视角可达180°，鱼眼图像包含的信息多，将这么多的信息存储在一张图像上，不可避免会产生畸变。鱼眼相机的投影模型本身就存在着畸变，同时由于相机的径向畸变非常严重，所以在研究鱼眼相机畸变的时候主要考虑径向畸变，忽略其余类型的畸变。

2.投影函数

常见的鱼眼相机设计模型有四种：等距投影模型、等立体角投影模型、正交投影模型和体视投影模型。数学公式如下：

其中，公式1.1至1.5分别表示等距投影模型、等立体角投影模型、正交投影模型、体视投影模型和针孔模型。f为鱼眼相机的焦距，即成像平面的半径，θ是入射光线与鱼眼相机光轴的夹角，即入射角，r_{d}为鱼眼图像的点到畸变中心的距离，如图1.4所示。r_{d}随着设计模型的变化而发生变化，四种模型投射距离的大小关系如图1.5所示。

.                                                                                                                                                                                                  图1.4 简化投影模型

                                                                                                                                                                                                图1.5模型之间的畸变情况

3.OpenCV中的鱼眼相机模型

OpenCV中使用的模型是由Kannala提出的一种鱼眼相机的一般近似模型。在等距投影模型的基础上提出来的。下面来详细分析其鱼眼相机模型的提出过程。我们可以将鱼眼相机模型的形式统一以等距投影模型的形式来表示，即
 

对实际的鱼眼镜头来说，它们不可能精确地按照投影模型来设计，所以为了方便鱼眼相机的标定，Kannala提出了一种鱼眼相机的一般多项式近似模型。通过前面的四个模型，可以发现 \Theta _{d}是θ的奇函数，而且将这些式子按泰勒级数展开，发现 \Theta _{d}可以用θ 的奇次多项式表示，即

为了实际计算的方便，需要确定式中 \Theta _{d}取到的次幂数。Kannala提出取式的前五项即取到的九次方，就给出了足够的自由度来很好地近似各种投影模型。 θdθd的一次项系数可以为1，于是OpenCV中使用的鱼眼相机模型为：

  上式表示的模型是根据四种鱼眼相机投影模型得出的一种通用鱼眼相机多项式模型。这种模型根据θ能够得到\Theta _{d} ，即通过无畸变图像中的点能够计算出鱼眼图像中的畸变点。这种模型在OpenCV的鱼眼相机标定方法中是适用的，因为OpenCV借助标定板对鱼眼相机进行标定。从空间点到鱼眼图像上的点的变换过程可用式子表示为：

上面式子中， X表示空间点，X _{c}​​​​​​​表示相机坐标系下对应的空间点， RR和tt分别是两个坐标系之间的旋转矩阵和平移向量，(u,v)^T表示投影到鱼眼图像上的对应点。OpenCV中对鱼眼相机的标定步骤能够分成四步：（1）初始化内参数；（2）初始化外参数；（3）使用LM算法最小化定位的图像点和投影的图像点之间的投影误差；（4）确定结果。

 

4.鱼眼镜头还原全景图

圆柱投影360°展开结果：

鱼眼图像的径向畸变标定进行图像校正的方法，并设计了一种可以覆盖180°甚至更多视场角的圆柱形棋盘格模板来进行径向畸变分析。在球形投影面的基础上校正得到了多方向的平面透视图和全景图。实验结果证实了此方法的有效性。本文的校正方法实现起来比较方便，理想的校正效果使得此方法可被用于恢复鱼眼图像的畸变，让一般的图像算法可以被应用到鱼眼镜头拍摄的图像上，为鱼眼镜头在计算机视觉等领域的应用打下基础。

另外需要提出的是文中的径向畸变校正方案只能被应用于圆形的鱼眼图像上，因为本文在校正过程中采用了认为鱼眼图像各方向径向畸变一致的近似处理，忽略了图像中可能存在的细微的切向畸变。本文的校正方法虽然能获取拥有良好视觉效果的图片，但在校正精确度上还有待改进。

5.完整码源：

#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgcodecs/imgcodecs.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <math.h>
#include <opencv2/imgproc/types_c.h>
using namespace std;
using namespace cv;//#pragma comment(lib, "opencv_core430d.lib")
//#pragma comment(lib, "opencv_highgui430d.lib")
//#pragma comment(lib, "opencv_imgcodecs430d.lib")
//#pragma comment(lib, "opencv_imgprocd.lib")int main()
{//读取图片Mat Src = imread("H:/opencv/main/7.jpg");	//imshow("Src",Src);cout << Src.size() << endl;int nbottom = 0;int ntop = 0;int nright = 0;int nleft = 0;//遍历寻找上边界int nflag = 0;for (int i = 0; i < Src.rows - 1; i++){for (int j = 0; j < Src.cols - 1; j++){uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];if (I > 20){I = 0.59*Src.at<Vec3b>(i + 1, j)[0] + 0.11*Src.at<Vec3b>(i + 1, j)[1] + 0.3*Src.at<Vec3b>(i + 1, j)[2];if (I > 20){ntop = i;nflag = 1;break;}}}if (nflag == 1){break;}}//遍历寻找下边界nflag = 0;for (int i = Src.rows - 1; i > 1; i--){for (int j = 0; j < Src.cols - 1; j++){uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];if (I > 20){I = 0.59*Src.at<Vec3b>(i - 1, j)[0] + 0.11*Src.at<Vec3b>(i - 1, j)[1] + 0.3*Src.at<Vec3b>(i - 1, j)[2];if (I > 20){nbottom = i;nflag = 1;break;}}}if (nflag == 1){break;}}//遍历寻找左边界nflag = 0;for (int j = 0; j < Src.cols - 1; j++){for (int i = 0; i < Src.rows; i++){uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];if (I > 20){I = 0.59*Src.at<Vec3b>(i, j + 1)[0] + 0.11*Src.at<Vec3b>(i, j + 1)[1] + 0.3*Src.at<Vec3b>(i, j + 1)[2];if (I > 20){nleft = j;nflag = 1;break;}}}if (nflag == 1){break;}}//遍历寻找右边界nflag = 0;for (int j = Src.cols - 1; j > 0; j--){for (int i = 0; i < Src.rows; i++){uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];if (I > 20){I = 0.59*Src.at<Vec3b>(i, j - 1)[0] + 0.11*Src.at<Vec3b>(i, j - 1)[1] + 0.3*Src.at<Vec3b>(i, j - 1)[2];if (I > 20){nright = j;nflag = 1;break;}}}if (nflag == 1){break;}}cout << ntop << endl;cout << nbottom << endl;cout << nleft << endl;cout << nright << endl;//根据边界值来获得直径int d = min(nright - nleft, nbottom - ntop);Mat imgRoi;imgRoi = Src(Rect(nleft, ntop, d, d));imwrite("H:/opencv/picture/aa.jpg", imgRoi);Mat dst(imgRoi.size(), CV_8UC3, Scalar(255, 255, 255));//建立映射表Mat map_x, map_y;map_x.create(imgRoi.size(), CV_32FC1);map_y.create(imgRoi.size(), CV_32FC1);for (int j = 0; j < d - 1; j++){for (int i = 0; i < d - 1; i++){map_x.at<float>(i, j) = static_cast<float>(d / 2.0 + i / 2.0*cos(1.0*j / d * 2 * CV_PI));map_y.at<float>(i, j) = static_cast<float>(d / 2.0 + i / 2.0*sin(1.0*j / d * 2 * CV_PI));}}remap(imgRoi, dst, map_x, map_y, CV_INTER_LINEAR, BORDER_CONSTANT, Scalar(0, 0, 0));//重设大小resize(dst, dst, Size(), 2.0, 1.0);imwrite("H:/opencv/picture/7.jpg", dst);waitKey();return 0;
}

特别提示：如有问题请参考相关文章【1】【2】【3】【4】

这篇关于【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/550651。

相关文章

使用Python和OpenCV库实现实时颜色识别系统

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》：本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色（红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解
阅读更多...
PostgreSQL中MVCC 机制的实现

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg
阅读更多...
SpringBoot整合Flowable实现工作流的详细流程

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4
阅读更多...
C++中零拷贝的多种实现方式

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri
阅读更多...
C++高效内存池实现减少动态分配开销的解决方案

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现：TCMalloc与Jemalloc1. TCM
阅读更多...
OpenCV实现实时颜色检测的示例

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间
阅读更多...
Python实现精准提取 PDF中的文本,表格与图片

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容：获取整页文本与指定区域内容获取页面上的所有文本内容获取
阅读更多...
基于Python实现一个Windows Tree命令工具

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一：创建批处理文件并添加到PATH1
阅读更多...
Java使用HttpClient实现图片下载与本地保存功能

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.
阅读更多...
canal实现mysql数据同步的详细过程

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》：本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2