[发明专利]关联LIDAR数据和图像数据

说明书

单眼图像通常不包含足够的信息来确定图像中所反映的场景中对象的深度。组合图像数据和LIDAR数据可以使得能够确定对象相对于相机的深度估计。具体地，可以将图像中的与对象相对应的感兴趣区域(“ROI”)相对应的LIDAR点与图像数据组合。可以根据单眼图像模型和/或基于LIDAR点到ROI中的投影与感兴趣区域的中心之间的距离的因子来对这些LIDAR点进行评分，这可以提高深度估计的准确性。将这些得分用作LIDAR点的加权中值中的权重可以例如通过所检测对象与遮挡对象和/或背景之间进行区分来提高深度估计的准确性。

相关申请的交叉引用

该PCT国际申请要求于2018年5月3日提交的美国专利申请号15/970,838的优先权权益，该申请通过引用合并于此。

背景技术

相机图像传统上包括二维数据。因此，即使在场景的图像上进行对象检测时，该检测也仅提供与检测到的对象相对应的图像的坐标(即，深度和/或比例是模糊的)。已经引入了诸如使用立体相机的解决方案以从图像恢复被检测对象的深度。但是，立体相机深度检测容易出错，并且对于诸如自动驾驶车辆控制之类的实时应用而言通常太慢，这可能导致安全结果降低。

附图说明

参照附图描述详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记表示相似或相同的项目。

图1A示出了示例图像，该示例图像包括检测到的对象和边界框，该边界框被生成以识别所检测的对象在图像中的位置。

图1B示出了示出深度感知问题的示例场景的框图。

图2A和2B分别示出了示例场景的鸟瞰透视图和侧面轮廓图，以及可以对应于图2C的元件的FIDAR数据。

图2C示出了示例图像，该示例图像包括示例性检测到的对象，示例性感兴趣区域，示例性遮挡对象以及投影到图像上的示例性LIDAR数据。

图3示出了由与图2A-2C的示例场景相对应的机器学习模型生成的示例概率分布以及与三个示例LIDAR点相关联的示例概率的框图。

图4A示出了与几个选择的示例LIDAR点相关联的深度测量的侧视轮廓图，以在随后的附图中进行讨论。

图4B示出了所选示例LIDAR点到感兴趣区域中的投影，以在随后的图中进行讨论。

图4C示出了用于至少部分地基于LIDAR点投影到感兴趣区域的中心的距离来生成LIDAR点的因子的示例分布。

图5A-5C示出了用于确定图像中检测到的对象的深度估计的示例过程。

图6示出了示例自动驾驶车辆的框图，该示例自动驾驶车辆可以并入本文讨论的视觉-元自旋关联系统。

具体实施方式

本文讨论的技术(例如，机器和/或过程)可以包括使用来自图像传感器的图像数据和来自LIDAR传感器的LIDAR数据来确定到环境中的对象的距离。在一些示例中，本文讨论的技术至少部分地基于接收到与图像中的对象相对应的像素(在本文中称为“感兴趣区域”)的指示来确定从相机到对象的距离(例如，对象的深度)；接收LIDAR数据；以及根据LIDAR数据确定与感兴趣区域和图像拍摄时间相对应的LIDAR点。一旦确定了这些LIDAR点，所述技术可以包括对LIDAR点进行评分，并在加权中值(median)计算中使用与LIDAR点相关的得分作为权重，按距离对LIDAR点进行排序(例如，每个LIDAR点可以与距离测量值相关联，在某些示例中也可与角度相关联)，并使用得分作为权重确定已排序LIDAR点的加权中值。在一些示例中，该技术可以包括将加权中值识别为深度估计以与对象相关联。这样的技术可以通过考虑遮挡对象的LIDAR数据来提供对象的更准确的深度估计。