震惊，从仿真走向现实，3D Map最大提升超12，Cube R-CNN使用合成数据集迁移到真实数据集-CSDN博客

本文链接：https://blog.csdn.net/laukal/article/details/141942318

震惊，从仿真走向现实，3D Map最大提升超12，Cube R-CNN使用合成数据集迁移到真实数据集

Abstract

由于摄像机视角多变和场景条件不可预测，在动态路边场景中从单目图像中准确检测三维物体仍然是一个具有挑战性的问题。本文介绍了一种两阶段的训练策略来应对这些挑战。我们的方法首先在大规模合成数据集RoadSense3D上训练模型，该数据集提供了多样化的场景以实现稳健的特征学习。随后，我们在真实世界数据集的组合上微调模型，以增强其对实际条件的适应能力。Cube R-CNN模型在具有挑战性的公共基准数据集上的实验结果显示，检测性能显著提高，在TUM Traffic A9 Highway数据集上的平均精度从0.26提高到12.76，在DAIR-V2X-I数据集上的平均精度从2.09提高到6.60。

代码及数据获取：https://roadsense3d.github.io

Introduction

深度学习的最新进展激发了人们对2D/3D物体检测方法的浓厚兴趣。传统的一步和两步2D物体检测方法主要分析像素级信息。然而，仅提供2D检测的方法在提供物体与自车之间的精确实际距离测量方面存在局限性。这一局限性突显了对场景更全面理解的必要性以及发展先进的3D物体检测能力的需求。为了提高模型的泛化能力，研究者们尝试将模型在多个数据集上进行训练，以增强其在不同城市环境中的表现。例如，MonoUNI模型通过集成车辆和基础设施数据，提高了远程感知能力。

虽然这些模型在典型的（驾驶）条件下表现出高精度，但当遇到诸如车辆倾斜或因事故而翻覆等路边场景时，其性能显著下降，这主要是由于数据标注过程的局限性。具体来说，大多数自动驾驶模型主要依赖于偏航角，通常忽略横滚和俯仰角度，因为它们为零。然而，这些角度在准确检测略有提升的物体（如路边场景中的物体）时至关重要。为了解决这些局限性，本文中我们使用Cube R-CNN模型进行了综合迁移学习实验，从合成数据集RoadSense3D过渡到真实世界数据集TUM Traffic A9 Highway（TUMTraf-A9和DAIR-V2X-I。在这些实验中，我们在训练和测试阶段都引入了俯仰和横滚角度。真实世界数据集来自多个城市，每个城市的基础设施配置各不相同，确保模型暴露于广泛的城市环境中以改善泛化性能。通过对这三个真实世界数据集的广泛评估，我们证明了从模拟场景到真实场景的迁移学习将TUMTraf-A9数据集上的3D mAP结果从0.26提高到12.76，将DAIR-V2X-I数据集的结果从2.09提高到6.60。