《论文阅读》Optimizing RGB-D Fusion for Accurate 6DoF Pose Estimation_estimating 6d pose from localizing designated surf-CSDN博客

留个笔记自用

Optimizing RGB-D Fusion for Accurate 6DoF Pose Estimation

做什么

Monocular Visual Odometry单目视觉里程计
在这里插入图片描述
相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出两帧之间的运动信息（旋转矩阵R和平移t）。这样我们就可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。

做了什么

在这里插入图片描述
这里的任务做的是一个6自由度的姿态回归，当然也可以理解成为一个视觉里程计的回归任务，做法是用RGB图片获得2D精度，再辅助以深度图的RGBD系统来强化3D深度信息。

怎么做

在这里插入图片描述
整体框架的输入是2D图片I_RGB+深度图I_depth，输出坐标系中相机坐标系的相对位姿转换，也就是常见的平移t∈R³和旋转R∈SO(3)组成的位姿转换矩阵T∈SE(3)
整体流程是通过2D图片得到2D关键点，用深度图像反投影这些关键点，以获得对象相机和对象模型之间的三维-三维对应关系，先用RANSAC进行位姿初始化，然后对6Dpose进行refine
按照流程来，首先是2D图像的关键点检测
在这里插入图片描述
这里使用的baseline是论文《Estimating 6D pose from localizing designated surface keypoints》

这个方法用resnet101作为base，输出一个heatmap也就是热力图，这个热力图上高概率的点就可视为关键点，然后用最简单的loss进行训练
在这里插入图片描述
至此，就通过一张2D图得到了这个2D图上的关键点
然后就是用反投影2D关键点往深度图上

在这里插入图片描述
这里的P就是点坐标（x，y，z），（u，v）是2D坐标，d是这个点的深度值，这个是输入的深度图给的数据，c和f是相机的横纵主点和焦距，这些是相机的内在参数
至此得到了一个由2D关键点投影得到的深度关键点，也就是一个3D关键点
接下来是将这些3D关键点和对象关键点进行对应，以获得对象相机和对象模型之间的三维-三维对应关系
在这里插入图片描述
需要得到这个物体的3D关键点，为了后面这两者做一个对应，基本上都用的FPS来做

而这里采用的方法是新提出的一个叫Surfels的方法，从图上可以得出这种方法更倾向于sample在平滑表面的点
得到3D之间的对应点后就可以用RANSAC来初始化该物体的6D位姿转换了
在这里插入图片描述
最后是再利用深度图对这个位姿进行一个refine

这里设计的过程是一个迭代的过程，提出了一种种融合边缘约束精度和深度信息的鲁棒精确细化方法，也就是图上的，通过深度图和对象图片的edge估计来进行初始化位姿的强化，既把哦哦正了深度误差，也保证了平面精度，这里就是用两个约束来进行的，一个边缘约束，一个深度约束
首先是边缘约束的设计，对于初始预测姿态，可以提取感兴趣区域内的图像边缘得到edge image
在这里插入图片描述
这个现有的做法很多很多，这里用的是一个叫directional Chamfer方向倒角匹配的方法进行边缘检测，定义约束为

这里X_i表示物体的三维轮廓，x_i和n_i分别表示的是图像的边缘和法向量，π是一个投影函数，3D至2D的，ρ是一个除异常的函数，简单理解下这个约束，这里的意思就是最小化点到平面距离，目的就是为了在描绘轮廓的基础上更好地反应边缘点
然后是深度约束，这个是为了更好的估计点深度
在这里插入图片描述
这里的Y_j是模型上采样的3D顶点，[ . ]Z是抽取三维点中的z轴数据，也就是深度数据，ρ( . )是Geman-McClure函数，跟前面的那个一样是一个除异常的函数，π也跟上面同样
简单理解下，就是计算预测的和测量的三维点之间的误差，最小化这个深度误差
然后将两个约束融合进行优化
在这里插入图片描述