Carla学习（九）世界坐标和相机坐标变换——过滤视野内目标

最新推荐文章于 2025-06-10 23:54:34 发布

狐狸饲养员

最新推荐文章于 2025-06-10 23:54:34 发布

阅读量6.2k

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/weixin_41823188/article/details/113624049

本文介绍如何使用Carla模拟器进行3D及2D物体目标检测，并通过坐标变换判断目标是否位于相机视野范围内。包括从世界坐标到图片坐标的转换方法，以及判断目标是否可见的具体实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

出于两种原因，有时候需要知道哪些车辆或行人在相机的视野范围内/不在视野范围内

利用Carla制作数据集时，不管是3D物体目标检测还是2D物体目标检测，我们都需要图片训练集。例如相机图片和图片内车辆或行人的ground truth（2d bbox， 3d bbox）。
可视化呈现。例如在V2V通信场景下，车辆之间是有通信的，那么可以将这种通信关系在相机图片上绘制出来，表达更直观。

上述两个例子我们都需要知道目标物体（车、人）是否在相机的视野范围内，例如生成车辆的3d bbox，只有在视野范围内的车辆才生成ground truth。
在这里插入图片描述
如何判断一个目标是否在视野范围内呢？只需要知道三个量：目标物体的世界坐标、相机外参数矩阵和相机内参数矩阵。
利用坐标变换，可以将目标物体的世界坐标转换为图片的二维坐标，具体步骤如下：

carla中获取目标的世界坐标：actor.get_transform().location
相机外参数矩阵：camera.get_transform().get_matrix()
相机内参数矩阵：

k = np.identity(3)
k[0, 2] = WINDOW_WIDTH_HALF
k[1, 2] = WINDOW_HEIGHT_HALF
f = WINDOW_WIDTH / (2.0 * math.tan(90.0 * math.pi / 360.0))
k[0, 0] = k[1, 1] = f

利用相机外参矩阵求出目标在相机坐标系下的三维坐标：

def proj_to_camera(pos_vector, extrinsic_mat):
    # transform the points to camera
    transformed_3d_pos = np.dot(inv(extrinsic_mat), pos_vector)
    return transformed_3d_pos

利用相机内参矩阵求将相机的三维坐标转换为图片内的二维坐标：

def proj_to_2d(camera_pos_vector, intrinsic_mat):
    # transform the points to 2D
    cords_x_y_z = camera_pos_vector[:3, :]
    cords_y_minus_z_x = np.concatenate([cords_x_y_z[1, :], -cords_x_y_z[2, :], cords_x_y_z[0, :]])
    pos2d = np.dot(intrinsic_mat, cords_y_minus_z_x)
    # normalize the 2D points
    pos2d = np.array([
        pos2d[0] / pos2d[2],
        pos2d[1] / pos2d[2],
        pos2d[2]
    ])
    return pos2d

判断车辆是否在相机视野内：

def point_in_top_view(pos):
    """Return true if point is in top view"""
    if (pos[0] > 0) and (pos[0] < DISPLAY_HEIGHT) and (pos[1] > 0) and (pos[1] < DISPLAY_WIDTH):
        return True
    return False