opencv进阶 ——（十二）基于三角剖分实现人脸对齐

2024-06-07 00:44
文章标签 进阶 实现 opencv 十二 剖分 对齐 人脸 三角

本文主要是介绍opencv进阶 ——（十二）基于三角剖分实现人脸对齐，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 三角剖分概念  

        三角剖分（Triangulation）是一种将多边形或曲面分解为一系列互不相交的三角形的技术，它是计算几何、计算机图形学、地理信息系统、工程和科学计算中的一个基本概念。通过三角剖分，复杂的形状可以被简化为基本的三角形元素，这些元素更容易处理和分析。

在二维空间中，一个简单的三角剖分将一个多边形划分为若干个不相交的三角形，这些三角形的边要么是多边形的边，要么是连接多边形内部点的边。在三维空间中，三角剖分通常应用于表面建模，将一个曲面分割成一系列互不相交的三角面片。

三角剖分有多种类型，其中最著名的一种是Delaunay三角剖分。在Delaunay剖分中，一个点的邻接三角形的内切圆（包含该点但不包含其他点的最小圆）是唯一的，且该点位于圆的外部。这种剖分在很多应用中非常有用，因为它保证了相邻三角形之间的良好分布，从而避免了过于狭长的三角形，这对于数值计算和图形渲染来说是理想的。

三角剖分在以下领域有广泛应用：

  • 计算机图形学：在3D建模和渲染中，用于将复杂的模型简化为三角面片，便于计算和显示。
  • 地理信息系统（GIS）：用于将地图数据分割成三角形网格，便于空间分析和数据可视化。
  • 有限元分析（FEM）：在工程计算中，用于将连续区域划分为离散的三角形单元，以便于数值求解偏微分方程。
  • 游戏开发：在游戏引擎中，用于减少模型的多边形数量，提高渲染效率。
  • 机器学习：在某些算法中，比如最近邻搜索，Delaunay三角剖分可以作为数据结构加速计算。

        三角剖分通常可以通过算法来实现，例如Graham扫描、 Jarvis March 或者更高效的算法如incremental方法和flip-based方法。在实际应用中，有许多现成的库和工具提供了三角剖分的功能，例如CGAL（Computational Geometry Algorithms Library）和Triangle库。 

人脸对齐实现   

实现步骤 

1、检测人脸区域

2、对人脸区域进行关键点标识

3、考虑到人脸可以存在倾斜，为了能更好的对齐效果，可以对关键点做旋转矩阵拟合

4、这里以经典的人脸68关键点为示例，为了边界部分更自然，可以对旋转矩阵进行扩展

5、将每一个三角形与目标三角形进行仿射变换得到一张与目标点对齐的人脸

代码实现

扩展旋转矩阵区域

void increaseRect(std::vector<cv::Point2f>& points,const cv::Mat& img)
{// 计算点集合构成的矩形的边界框cv::Rect rect = cv::boundingRect(points);// 定义增加比例float scale = 0.2;// 计算增加的宽度和高度int width = rect.width*scale;int height = rect.height*scale;// 定义增加值的lambda函数，用于安全地增加或减少一个值auto addVal = [](float& val, float add, float max){val = std::min(val + add, max); // 确保值不会超过最大值};auto subVal = [](float& val, float sub, float min){val = std::max(val - sub, min); // 确保值不会低于最小值};// 应用增加的宽度和高度来调整四个顶点的位置// 调整第一个点的x坐标和y坐标subVal(points[0].x, width, 0);addVal(points[0].y, height, img.rows);// 调整第二个点的x坐标和y坐标subVal(points[1].x, width, 0);subVal(points[1].y, height, 0);// 调整第三个点的x坐标和y坐标addVal(points[2].x, width, img.cols);subVal(points[2].y, height, 0);// 调整第四个点的x坐标和y坐标addVal(points[3].x, width, img.cols);addVal(points[3].y, height, img.rows);
}

增加边界点

void FillPointRect(const std::vector<cv::Point2f>& points,  std::vector<cv::Point>& vecPoint)
{// 临时存储扩充的点std::vector<cv::Point> addPointsTmp; // 根据原始点集，通过向每个点添加偏移量来生成新的点addPointsTmp.push_back(points[0] + cv::Point2f(1, -1));addPointsTmp.push_back(points[1] + cv::Point2f(1, +1));addPointsTmp.push_back(points[2] + cv::Point2f(-1, +1));addPointsTmp.push_back(points[3] + cv::Point2f(-1, -1));// 通过现有点计算并加入新的点，以构成矩形的外接多边形addPointsTmp.push_back((addPointsTmp[0]  + addPointsTmp[1])/2);addPointsTmp.push_back((addPointsTmp[1]  + addPointsTmp[2])/2);addPointsTmp.push_back((addPointsTmp[2]  + addPointsTmp[3])/2);addPointsTmp.push_back((addPointsTmp[3]  + addPointsTmp[0])/2);// 将扩充的点集添加到输出向量中vecPoint.insert(vecPoint.end(), addPointsTmp.begin(), addPointsTmp.end());
}

获取所有的三角形下标

//获取三角形下标
std::vector<cv::Vec3i> Triangulation::getTrianglesIndexs(std::vector<cv::Vec6f>& triangleList, std::vector<cv::Point>& vecPoint)
{auto findPoint = [&vecPoint](cv::Point& p){for (int i = 0; i < vecPoint.size(); i++){if (vecPoint[i] == p){return i;}    }return -1;};std::vector<cv::Vec3i> trianglesIndexs;for (auto& item : triangleList){cv::Point p1 = cv::Point(item[0], item[1]);cv::Point p2 = cv::Point(item[2], item[3]);cv::Point p3 = cv::Point(item[4], item[5]);auto idx1 = findPoint(p1);auto idx2 = findPoint(p2);auto idx3 = findPoint(p3);if (idx1 != -1 && idx2 != -1 && idx3 != -1){trianglesIndexs.push_back(cv::Vec3i(idx1, idx2, idx3));}}return trianglesIndexs;
}

绘制三角剖分图

std::vector<cv::Point> vecPoint = item.boxPoint;auto rotateRect = cv::minAreaRect(vecPoint);cv::Point2f pot[4];rotateRect.points(pot);std::vector<cv::Point2f> rotatePoints{pot[0], pot[1], pot[2], pot[3]};increaseRect(rotatePoints, img);FillPointRect(rotatePoints, vecPoint);std::vector<cv::Point> vecHull;cv::convexHull(vecPoint, vecHull);auto rect = cv::boundingRect(vecHull);cv::Subdiv2D subdiv(rect);std::vector<cv::Point2f> vecPoint2f;for (auto& ptIt : vecPoint){vecPoint2f.emplace_back(cv::Point2f(ptIt.x, ptIt.y));}subdiv.insert(vecPoint2f);std::vector<cv::Vec6f> triangleList;subdiv.getTriangleList(triangleList);auto trianglesIndexs = std::move(getTrianglesIndexs(triangleList, vecPoint));for (auto& item : trianglesIndexs){cv::Point pt1 = vecPoint[item[0]];cv::Point pt2 = vecPoint[item[1]];cv::Point pt3 = vecPoint[item[2]];cv::line(destDataOut->img(), pt1, pt2, 255);cv::line(destDataOut->img(), pt2, pt3, 255);cv::line(destDataOut->img(), pt3, pt1, 255);}

人脸对齐

cv::Mat alignmentImageData(const cv::Mat& srcImg, const cv::Rect& srcBox, std::vector<cv::Point> vecPointRoi, std::vector<cv::Point> vecDestPointRoi)
{auto srcImgRoi = srcImg(srcBox);//构建三角剖分，获取三角形下标cv::Subdiv2D subdiv(cv::Rect(0, 0, srcBox.width, srcBox.height));std::vector<cv::Point2f> vecPoint2f;vecPoint2f.insert(vecPoint2f.end(), vecPointRoi.begin(), vecPointRoi.end());subdiv.insert(vecPoint2f);std::vector<cv::Vec6f> triangleList;subdiv.getTriangleList(triangleList);auto trianglesIndexs = std::move(getTrianglesIndexs(triangleList, vecPointRoi));qDebug() << "triangles size:" << trianglesIndexs.size();cv::Mat destNewImg = srcImgRoi.clone();auto maxRoiSize = srcImgRoi.size();for (auto& item : trianglesIndexs){cv::Point tr1Pt1 = vecPointRoi[item[0]];cv::Point tr1Pt2 = vecPointRoi[item[1]];cv::Point tr1Pt3 = vecPointRoi[item[2]];auto rect1 = cv::boundingRect(std::vector<cv::Point>{tr1Pt1, tr1Pt2, tr1Pt3});auto croppedTriangle = srcImgRoi(rect1);cv::Point rect1Beg = cv::Point(rect1.x, rect1.y);cv::Point tr2Pt1 = vecDestPointRoi[item[0]];cv::Point tr2Pt2 = vecDestPointRoi[item[1]];cv::Point tr2Pt3 = vecDestPointRoi[item[2]];auto rect2 = cv::boundingRect(std::vector<cv::Point>{tr2Pt1, tr2Pt2, tr2Pt3});cv::Mat croppedTr2Mask = cv::Mat::zeros(rect2.size(),  CV_8UC1);//生成模板图像三角形掩码cv::Point rect2Beg = cv::Point(rect2.x, rect2.y);std::vector<cv::Point> maskPoints2 = {tr2Pt1 - rect2Beg, tr2Pt2 - rect2Beg, tr2Pt3 - rect2Beg};cv::fillConvexPoly(croppedTr2Mask, maskPoints2, 255);cv::Point2f srcTri[3] = {tr1Pt1 - rect1Beg, tr1Pt2 - rect1Beg, tr1Pt3 - rect1Beg};cv::Point2f dstTri[3] = {tr2Pt1 - rect2Beg, tr2Pt2 - rect2Beg, tr2Pt3 - rect2Beg};auto warpMat = cv::getAffineTransform(srcTri, dstTri);cv::Mat warpTriangle;cv::warpAffine(croppedTriangle, warpTriangle, warpMat, rect2.size());cv::bitwise_and(warpTriangle, warpTriangle, warpTriangle, croppedTr2Mask);cv::Mat roi = destNewImg(rect2);warpTriangle.copyTo(roi, croppedTr2Mask);}return  destNewImg;
}

人脸68关键点和5关键点三角剖分图

人脸对齐

这篇关于opencv进阶 ——（十二）基于三角剖分实现人脸对齐的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1037706。

相关文章

Python实现批量CSV转Excel的高性能处理方案

Python实现批量CSV转Excel的高性能处理方案

《Python实现批量CSV转Excel的高性能处理方案》在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一... 目录一、场景需求二、技术方案三、核心代码四、批量处理方案五、性能优化六、使用示例完整代码七、小结一、
阅读更多...
Java实现将HTML文件与字符串转换为图片

Java实现将HTML文件与字符串转换为图片

《Java实现将HTML文件与字符串转换为图片》在Java开发中,我们经常会遇到将HTML内容转换为图片的需求,本文小编就来和大家详细讲讲如何使用FreeSpire.DocforJava库来实现这一功... 目录前言核心实现：html 转图片完整代码场景 1：转换本地 HTML 文件为图片场景 2：转换 H
阅读更多...
C#使用Spire.Doc for .NET实现HTML转Word的高效方案

C#使用Spire.Doc for .NET实现HTML转Word的高效方案

《C#使用Spire.Docfor.NET实现HTML转Word的高效方案》在Web开发中,HTML内容的生成与处理是高频需求,然而,当用户需要将HTML页面或动态生成的HTML字符串转换为Wor... 目录引言一、html转Word的典型场景与挑战二、用 Spire.Doc 实现 HTML 转 Word1
阅读更多...
C#实现一键批量合并PDF文档

C#实现一键批量合并PDF文档

《C#实现一键批量合并PDF文档》这篇文章主要为大家详细介绍了如何使用C#实现一键批量合并PDF文档功能,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言效果展示功能实现1、添加文件2、文件分组（书签）3、定义页码范围4、自定义显示5、定义页面尺寸6、PDF批量合并7、其他方法
阅读更多...
SpringBoot实现不同接口指定上传文件大小的具体步骤

SpringBoot实现不同接口指定上传文件大小的具体步骤

《SpringBoot实现不同接口指定上传文件大小的具体步骤》：本文主要介绍在SpringBoot中通过自定义注解、AOP拦截和配置文件实现不同接口上传文件大小限制的方法,强调需设置全局阈值远大于... 目录一  springboot实现不同接口指定文件大小1.1 思路说明1.2 工程启动说明二 具体实施2
阅读更多...
Python实现精确小数计算的完全指南

Python实现精确小数计算的完全指南

《Python实现精确小数计算的完全指南》在金融计算、科学实验和工程领域,浮点数精度问题一直是开发者面临的重大挑战,本文将深入解析Python精确小数计算技术体系,感兴趣的小伙伴可以了解一下... 目录引言：小数精度问题的核心挑战一、浮点数精度问题分析1.1 浮点数精度陷阱1.2 浮点数误差来源二、基础解决
阅读更多...
Java实现在Word文档中添加文本水印和图片水印的操作指南

Java实现在Word文档中添加文本水印和图片水印的操作指南

《Java实现在Word文档中添加文本水印和图片水印的操作指南》在当今数字时代,文档的自动化处理与安全防护变得尤为重要,无论是为了保护版权、推广品牌,还是为了在文档中加入特定的标识,为Word文档添加... 目录引言Spire.Doc for Java：高效Word文档处理的利器代码实战：使用Java为Wo
阅读更多...
Java实现远程执行Shell指令

Java实现远程执行Shell指令

《Java实现远程执行Shell指令》文章介绍使用JSch在SpringBoot项目中实现远程Shell操作,涵盖环境配置、依赖引入及工具类编写,详解分号和双与号执行多指令的区别... 目录软硬件环境说明编写执行Shell指令的工具类总结jsch(Java Secure Channel)是SSH2的一个纯J
阅读更多...
使用Python实现Word文档的自动化对比方案

使用Python实现Word文档的自动化对比方案

《使用Python实现Word文档的自动化对比方案》我们经常需要比较两个Word文档的版本差异,无论是合同修订、论文修改还是代码文档更新,人工比对不仅效率低下,还容易遗漏关键改动,下面通过一个实际案例... 目录引言一、使用python-docx库解析文档结构二、使用difflib进行差异比对三、高级对比方
阅读更多...
深度解析Python中递归下降解析器的原理与实现

深度解析Python中递归下降解析器的原理与实现

《深度解析Python中递归下降解析器的原理与实现》在编译器设计、配置文件处理和数据转换领域,递归下降解析器是最常用且最直观的解析技术,本文将详细介绍递归下降解析器的原理与实现,感兴趣的小伙伴可以跟随... 目录引言：解析器的核心价值一、递归下降解析器基础1.1 核心概念解析1.2 基本架构二、简单算术表达
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2