【MQ笔记】张氏标定法学习笔记：A Flexible New Technique for Camera Calibration详解

本文主要是介绍【MQ笔记】张氏标定法学习笔记：A Flexible New Technique for Camera Calibration详解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

张定友教授于2000年发表在 IEEE TRANSACTIONS ANALYSIS AND MACHINE INTELLIGENCE 上的论文 A Flexible New Technique for Camera Calibration 中提出了著名的张氏标定法，该方法现在已经成为机器视觉领域的重要基础。虽然现在已经有很多成熟的函数或程序可以非常便捷的实现相机标定，但是吃透相关内容对理解相机矫正和图像处理还是非常重要的。所以我也是花了很长时间理解这篇论文。在这里我主要沿着作者的写作思路，尝试把过程中的每个转化环节都说明白，有理解不对的地方还请多多指正。

相机或者摄像机，通过透镜成像，将三维的现实场景投影到二维的图像平面上。而对应的，计算机视觉的基本任务之一，便是从二维的图像中提取信息并计算出相应对象在三维空间中的几何信息。而空间物体表面某点的三维位置与其在图像中对应点之间的相互关系是由成像的几何模型决定的，模型的参数也就是相机的参数。这些参数必须通过实验确定，确定这些参数的过程被称为相机标定。也就是说，相机标定的根本任务，就是通过实验计算得到相机自身的参数和相机相对于世界坐标系的方位参数。

上面这一段是我自己写的，也没那么重要啦，那下面让我们进入正文吧。

在论文中，作者用 $\boldsymbol{m}=[u,v]^T$ 表示一个2维的点，用 $\boldsymbol{M}=[X,Y,Z]^T$ 表示一个3维的点。用 $\boldsymbol{\widetilde{x}}$ 表示在向量末尾加元素1得到的增广向量（比如 $\boldsymbol{\widetilde{m}}=[u,v,1]^T$ ）。文中采用了针孔成像模型，因此，空间的一点 $\boldsymbol{M}$ 和平面上的对应点 $\boldsymbol{m}$ 满足下面的关系式：

$s\boldsymbol{\widetilde{m}}=\boldsymbol{A\begin{bmatrix} R & t \end{bmatrix} \widetilde{M} }$ 式（1）

其中，s是任意比例因子， $\boldsymbol{A}$ 是相机的内参矩阵， $\boldsymbol{A}=\begin{bmatrix} \alpha &\gamma & u_0\\ 0& \beta & v_0\\ 0&0 &1 \end{bmatrix}$ ， $(u_0,v_0)$ 是代表图像平面的主点坐标。 $[\boldsymbol{R,T }]$ 是相机的外参数矩阵， $\boldsymbol{R_{3\times 3}}=[\boldsymbol{r_1,r_2,r_3}]$ ， $\boldsymbol{T}=\begin{bmatrix} X_{w} &Y_{w} & Z_{w} \end{bmatrix}^{T}$ 。对这一部分有疑问的同学可以参考这里。

接下来，作者讨论了平面模板与其图像之间的单一对应性（Homography）。所谓的单一对应性，表示的是从空间 $P^n$ 到 $P^n$ 的投影变换，习惯上，我们将二维（ $n=2$ ）欧式空间的直射变换（projective transformation）称为单应性。简单一点说，单应性其实就可以理解为从一个平面到另一个平面间的映射关系。

我们可以不失一般性的，假定世界坐标系的 $Z_w$ 分量为0，也就是，定义平面模板位于Z=0平面上。则式(1)可以被改写为：

$s\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\boldsymbol{A}[\boldsymbol{r_1,r_2,r_3,t}]\begin{bmatrix} X_w\\ Y_w\\ 0\\ 1 \end{bmatrix}=\boldsymbol{A}[\boldsymbol{r_1,r_2,t}]\begin{bmatrix} X_w\\ Y_w\\ 1 \end{bmatrix}$

我们用 $\boldsymbol{m}=[u,v]^T$ 和 $\boldsymbol{\widetilde{m}}=[u,v,1]^T$ 表示空间点的图像坐标及其齐次坐标，用 $\boldsymbol{M}=[X_w,Y_w]^T$ 和 $\boldsymbol{\widetilde{M}}=[X_w,Y_w,1]^T$ 表示空间点的世界坐标系及其齐次坐标。则图像平面上的点 $\boldsymbol{\widetilde{m}}$ 与平面模板上的点 $\boldsymbol{\widetilde{M}}$ 之间就可以通过单应性矩阵（homography matrix） $\boldsymbol{H}$ 来联系，即：