An Online Adaptation Method for Robust Depth Estimation and Visual Odometry in the Open World

An Online Adaptation Method for Robust Depth Estimation and
Visual Odometry in the Open World
idea被抢先发了(开玩笑

创新点

本文提出一种基于自监督机制的单目深度估计与视觉里程计在线适应框架。该框架应用于现实场景时，能够快速适应各种新环境。首先，我们设计了一种带有轻量级优化器模块的单目深度估计网络 R-DepthNet。优化器是一个具有少量参数的低秩矩阵模块，可对各层的特征表示进行优化，并在无需预训练的情况下将其迁移到新环境中。在在线适应阶段，我们冻结 DepthNet 的预训练权重，仅优化优化器的参数。
提出一种闭环自监督机制，使 R-DepthNet 与单目 SLAM 能够相互强化。
具体而言，我们设计了稀疏深度致密化（SDD）模块，基于 SLAM 的稀疏地图生成伪深度测量；以及动态一致性增强（DCE）模块，基于 SLAM 的相对位姿计算有效掩码。这些伪深度和有效掩码作为反馈信息，用于增强在线适应过程。学习后的 R-DepthNet 可进一步优化 SLAM 输出的精度

适配器

优化器模块采用低秩适配器 [37]，用于在线学习过程中的自适应，通过利用少量可训练参数降低内存需求。我们冻结 DepthNet 的预训练权重，并在网络的每一层插入可训练的适配器。