【3D目标检测】单目相机成像原理

学习资料

2.2 针孔相机模型
3D视觉坐标系与坐标转换

学习笔记

相机结构最基本的理解就是透镜模型，穿过光心的光线没有改变方向，其他光线都会在一定程度上改变方向。

为了方便对透镜模型进一步简化，得到小孔成像的模型。小孔成像模型中，所成的像和原像之间的对应关系，全部都是连线，或者说所有的光线都没有改变方向。

为了后面的分析方便，对小孔成像的模型进行进一步的调整，将成像平面画到镜头的对称位置，使得图像不再倒立。注意：这两者是等价的。

这还是刚才的小孔成像模型

z是深度，就是物体距离相机的距离
这里的x,y是物理坐标，不是图像当中的像素坐标

y同理

上面是在相机坐标系下的，也就是以相机的光心作为原点
下面考虑如何从图像坐标系下的像素坐标$(u,v)$出发得到相机坐标系下的物理坐标$(X,Y,Z)$。
首先是当前像素点的像素坐标减去成像平面原点在图像坐标系中对应的像素坐标，表示从图像坐标系向成像平面坐标系的转换，这里完成了像素坐标级的转换，再乘上传感器物理尺寸就得到了成像平面坐标系下的物理坐标，记这个坐标是$(x,y)$。假设我们通过估计或者什么方式得到了该点对应的深度（距离相机的距离），也就是$Z$，那么我们就可以通过上面的公式得到$(X,Y)$，也就是完成了成像平面坐标系向相机坐标系的转化。
注：下面将比例系数同焦距结合到了一起，得到了一个从图像坐标系下的像素坐标转换到相机坐标系的3D物理坐标的新公式

下面将公式统一成了矩阵的形式，其中参数矩阵$K$称为相机的内参矩阵

但是注意，这里我们最终得到的是相机坐标系下的3D坐标，但我们需要的是世界坐标系下的3D物理坐标。我们可以通过相机外参来完成这部分的转换，相机外参一般由平移和旋转两部分参数组成。其中$R$是旋转矩阵，$T$是平移矩阵