Opencv Sift和Surf特征实现图像无缝拼接生成全景图像

2024-03-04 13:48
文章标签 实现 图像 opencv 生成 特征 拼接 sift surf 全景 无缝

本文主要是介绍Opencv Sift和Surf特征实现图像无缝拼接生成全景图像，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！



转自：http://m.blog.csdn.net/dcrmg/article/details/52629856

          


Sift和Surf算法实现两幅图像拼接的过程是一样的，主要分为4大部分：

  • 1. 特征点提取和描述
  • 2. 特征点配对，找到两幅图像中匹配点的位置
  • 3. 通过配对点，生成变换矩阵，并对图像1应用变换矩阵生成对图像2的映射图像
  • 4. 图像2拼接到映射图像上，完成拼接


过程1、2、3没啥好说的了，关键看看步骤4中的拼接部分。这里先采用比较简单一点的拼接方式来实现：

  • 1. 找到图像1和图像2中最强的匹配点所在的位置
  • 2. 通过映射矩阵变换，得到图像1的最强匹配点经过映射后投影到新图像上的位置坐标
  • 3. 在新图像上的最强匹配点的映射坐标处，衔接两幅图像，该点左侧图像完全是图像1，右侧完全是图像2


这里拼接的正确与否完全取决于特征点的选取，如果选取的是错误匹配的特征点，拼接一定失败，所以这里选了排在第一个的最强的匹配点，作为拼接点。


测试用例一原图1：



测试用例一原图2：



Sift拼接效果：



Surf拼接效果：



本例中最强匹配点的位置在图中红色小汽车附近，可以看到有一条像折痕一样的线条，这个就是两个图片的拼接线，并且如果图1和图2在拼接处的光线条件有变化的还，拼接后在衔接处左右就会显得很突兀，如Surf拼接中。拼接效果Sift貌似要比Surf好一点。


测试用例二原图1：



测试用例二原图2：



Sift拼接效果：



Surf拼接效果：




以下是Opencv实现：


#include "highgui/highgui.hpp"  
#include "opencv2/nonfree/nonfree.hpp"  
#include "opencv2/legacy/legacy.hpp" using namespace cv;//计算原始图像点位在经过矩阵变换后在目标图像上对应位置
Point2f getTransformPoint(const Point2f originalPoint,const Mat &transformMaxtri);int main(int argc,char *argv[])  
{  Mat image01=imread(argv[1]);  Mat image02=imread(argv[2]);imshow("拼接图像1",image01);imshow("拼接图像2",image02);//灰度图转换Mat image1,image2;  cvtColor(image01,image1,CV_RGB2GRAY);cvtColor(image02,image2,CV_RGB2GRAY);//提取特征点  SiftFeatureDetector siftDetector(800);  // 海塞矩阵阈值vector<KeyPoint> keyPoint1,keyPoint2;  siftDetector.detect(image1,keyPoint1);  siftDetector.detect(image2,keyPoint2);	//特征点描述，为下边的特征点匹配做准备  SiftDescriptorExtractor siftDescriptor;  Mat imageDesc1,imageDesc2;  siftDescriptor.compute(image1,keyPoint1,imageDesc1);  siftDescriptor.compute(image2,keyPoint2,imageDesc2);	//获得匹配特征点，并提取最优配对  	FlannBasedMatcher matcher;vector<DMatch> matchePoints;  matcher.match(imageDesc1,imageDesc2,matchePoints,Mat());sort(matchePoints.begin(),matchePoints.end()); //特征点排序	//获取排在前N个的最优匹配特征点vector<Point2f> imagePoints1,imagePoints2;for(int i=0;i<10;i++){		imagePoints1.push_back(keyPoint1[matchePoints[i].queryIdx].pt);		imagePoints2.push_back(keyPoint2[matchePoints[i].trainIdx].pt);		}//获取图像1到图像2的投影映射矩阵，尺寸为3*3Mat homo=findHomography(imagePoints1,imagePoints2,CV_RANSAC);		Mat adjustMat=(Mat_<double>(3,3)<<1.0,0,image01.cols,0,1.0,0,0,0,1.0);Mat adjustHomo=adjustMat*homo;//获取最强配对点在原始图像和矩阵变换后图像上的对应位置，用于图像拼接点的定位Point2f originalLinkPoint,targetLinkPoint,basedImagePoint;originalLinkPoint=keyPoint1[matchePoints[0].queryIdx].pt;targetLinkPoint=getTransformPoint(originalLinkPoint,adjustHomo);basedImagePoint=keyPoint2[matchePoints[0].trainIdx].pt;//图像配准Mat imageTransform1;warpPerspective(image01,imageTransform1,adjustMat*homo,Size(image02.cols+image01.cols+10,image02.rows));//在最强匹配点的位置处衔接，最强匹配点左侧是图1，右侧是图2，这样直接替换图像衔接不好，光线有突变Mat ROIMat=image02(Rect(Point(basedImagePoint.x,0),Point(image02.cols,image02.rows)));	ROIMat.copyTo(Mat(imageTransform1,Rect(targetLinkPoint.x,0,image02.cols-basedImagePoint.x+1,image02.rows)));namedWindow("拼接结果",0);imshow("拼接结果",imageTransform1);	waitKey();  return 0;  
}//计算原始图像点位在经过矩阵变换后在目标图像上对应位置
Point2f getTransformPoint(const Point2f originalPoint,const Mat &transformMaxtri)
{Mat originelP,targetP;originelP=(Mat_<double>(3,1)<<originalPoint.x,originalPoint.y,1.0);targetP=transformMaxtri*originelP;float x=targetP.at<double>(0,0)/targetP.at<double>(2,0);float y=targetP.at<double>(1,0)/targetP.at<double>(2,0);return Point2f(x,y);
}


对于衔接处存在的缝隙问题，有一个解决办法是按一定权重叠加图1和图2的重叠部分，在重叠处图2的比重是1，向着图1的方向，越远离衔接处，图1的权重越来越大，图2的权重越来越低，实现平稳过渡。按照这个思路优化过的代码如下：


#include "highgui/highgui.hpp"  
#include "opencv2/nonfree/nonfree.hpp"  
#include "opencv2/legacy/legacy.hpp" using namespace cv;//计算原始图像点位在经过矩阵变换后在目标图像上对应位置
Point2f getTransformPoint(const Point2f originalPoint,const Mat &transformMaxtri);int main(int argc,char *argv[])  
{  Mat image01=imread(argv[1]);  Mat image02=imread(argv[2]);imshow("拼接图像1",image01);imshow("拼接图像2",image02);//灰度图转换Mat image1,image2;  cvtColor(image01,image1,CV_RGB2GRAY);cvtColor(image02,image2,CV_RGB2GRAY);//提取特征点  SiftFeatureDetector siftDetector(800);  // 海塞矩阵阈值vector<KeyPoint> keyPoint1,keyPoint2;  siftDetector.detect(image1,keyPoint1);  siftDetector.detect(image2,keyPoint2);	//特征点描述，为下边的特征点匹配做准备  SiftDescriptorExtractor siftDescriptor;  Mat imageDesc1,imageDesc2;  siftDescriptor.compute(image1,keyPoint1,imageDesc1);  siftDescriptor.compute(image2,keyPoint2,imageDesc2);	//获得匹配特征点，并提取最优配对  	FlannBasedMatcher matcher;vector<DMatch> matchePoints;  matcher.match(imageDesc1,imageDesc2,matchePoints,Mat());sort(matchePoints.begin(),matchePoints.end()); //特征点排序	//获取排在前N个的最优匹配特征点vector<Point2f> imagePoints1,imagePoints2;for(int i=0;i<10;i++){		imagePoints1.push_back(keyPoint1[matchePoints[i].queryIdx].pt);		imagePoints2.push_back(keyPoint2[matchePoints[i].trainIdx].pt);		}//获取图像1到图像2的投影映射矩阵，尺寸为3*3Mat homo=findHomography(imagePoints1,imagePoints2,CV_RANSAC);		Mat adjustMat=(Mat_<double>(3,3)<<1.0,0,image01.cols,0,1.0,0,0,0,1.0);Mat adjustHomo=adjustMat*homo;//获取最强配对点在原始图像和矩阵变换后图像上的对应位置，用于图像拼接点的定位Point2f originalLinkPoint,targetLinkPoint,basedImagePoint;originalLinkPoint=keyPoint1[matchePoints[0].queryIdx].pt;targetLinkPoint=getTransformPoint(originalLinkPoint,adjustHomo);basedImagePoint=keyPoint2[matchePoints[0].trainIdx].pt;//图像配准Mat imageTransform1;warpPerspective(image01,imageTransform1,adjustMat*homo,Size(image02.cols+image01.cols+110,image02.rows));//在最强匹配点左侧的重叠区域进行累加，是衔接稳定过渡，消除突变Mat image1Overlap,image2Overlap; //图1和图2的重叠部分	image1Overlap=imageTransform1(Rect(Point(targetLinkPoint.x-basedImagePoint.x,0),Point(targetLinkPoint.x,image02.rows)));image2Overlap=image02(Rect(0,0,image1Overlap.cols,image1Overlap.rows));Mat image1ROICopy=image1Overlap.clone();  //复制一份图1的重叠部分for(int i=0;i<image1Overlap.rows;i++){for(int j=0;j<image1Overlap.cols;j++){double weight;weight=(double)j/image1Overlap.cols;  //随距离改变而改变的叠加系数image1Overlap.at<Vec3b>(i,j)[0]=(1-weight)*image1ROICopy.at<Vec3b>(i,j)[0]+weight*image2Overlap.at<Vec3b>(i,j)[0];image1Overlap.at<Vec3b>(i,j)[1]=(1-weight)*image1ROICopy.at<Vec3b>(i,j)[1]+weight*image2Overlap.at<Vec3b>(i,j)[1];image1Overlap.at<Vec3b>(i,j)[2]=(1-weight)*image1ROICopy.at<Vec3b>(i,j)[2]+weight*image2Overlap.at<Vec3b>(i,j)[2];}}Mat ROIMat=image02(Rect(Point(image1Overlap.cols,0),Point(image02.cols,image02.rows)));	 //图2中不重合的部分ROIMat.copyTo(Mat(imageTransform1,Rect(targetLinkPoint.x,0, ROIMat.cols,image02.rows))); //不重合的部分直接衔接上去namedWindow("拼接结果",0);imshow("拼接结果",imageTransform1);	imwrite("D:\\拼接结果.jpg",imageTransform1);waitKey();  return 0;  
}//计算原始图像点位在经过矩阵变换后在目标图像上对应位置
Point2f getTransformPoint(const Point2f originalPoint,const Mat &transformMaxtri)
{Mat originelP,targetP;originelP=(Mat_<double>(3,1)<<originalPoint.x,originalPoint.y,1.0);targetP=transformMaxtri*originelP;float x=targetP.at<double>(0,0)/targetP.at<double>(2,0);float y=targetP.at<double>(1,0)/targetP.at<double>(2,0);return Point2f(x,y);
}


Sift拼接效果：



Surf拼接效果：



拼接处的线条消失了，也没有见突兀的光线变化，基本实现了无缝拼接。


测试用例三原图1：



测试用例三原图2：



拼接效果：


这篇关于Opencv Sift和Surf特征实现图像无缝拼接生成全景图像的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/773366。

相关文章

使用Python和OpenCV库实现实时颜色识别系统

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》：本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色（红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解
阅读更多...
PostgreSQL中MVCC 机制的实现

PostgreSQL中MVCC 机制的实现

《PostgreSQL中MVCC机制的实现》本文主要介绍了PostgreSQL中MVCC机制的实现,通过多版本数据存储、快照隔离和事务ID管理实现高并发读写,具有一定的参考价值,感兴趣的可以了解一下... 目录一 MVCC 基本原理python1.1 MVCC 核心概念1.2 与传统锁机制对比二 Postg
阅读更多...
SpringBoot整合Flowable实现工作流的详细流程

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4
阅读更多...
C++中零拷贝的多种实现方式

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri
阅读更多...
C++高效内存池实现减少动态分配开销的解决方案

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现：TCMalloc与Jemalloc1. TCM
阅读更多...
OpenCV实现实时颜色检测的示例

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间
阅读更多...
Python实现精准提取 PDF中的文本,表格与图片

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容：获取整页文本与指定区域内容获取页面上的所有文本内容获取
阅读更多...
基于Python实现一个Windows Tree命令工具

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一：创建批处理文件并添加到PATH1
阅读更多...
Java使用HttpClient实现图片下载与本地保存功能

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.
阅读更多...
canal实现mysql数据同步的详细过程

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》：本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2