[发明专利]基于CNN和CRF模型生成高分辨率3-D点云

说明书

在一个实施方式中，一种方法或系统从低分辨率的3‑D点云和摄像机捕捉的图像生成高分辨率的3‑D点云，以操作自动驾驶车辆(ADV)。该系统接收用于驾驶环境的、由摄像机捕捉的第一图像。该系统接收第二图像，该第二图像表示与驾驶环境相对应的第一点云的第一深度图。该系统通过通过对第一图像应用卷积神经网络模型来确定第二深度图。该系统通过通过对第一图像、第二图像和第二深度图应用条件随机域模型来生成第三深度图，该第三深度图比第一深度图具有更高的分辨率，使得第三深度图表示感知ADV周围的驾驶环境的第二点云。

技术领域

本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及基于卷积神经网络(CNN)和条件随机域(CRF)模型生成高分辨率三维(3-D)点云。

背景技术

以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。

高分辨率LIDAR数据对实现用于自动驾驶车辆(ADV)应用(诸如，对象分割、检测、跟踪和分类)的实时3-D场景重建很重要。然而，高分辨率的LIDAR设备通常是昂贵的，且未必能够获得。

发明内容

在本公开的一方面，提供了一种生成高分辨率三维点云的方法，所述方法包括：

接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；

接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；

通过对所述第一图像应用卷积神经网络模型来确定第二深度图；以及

通过对所述第一图像、所述第二图像和所述第二深度图应用条件随机域模型来生成第三深度图，所述第三深度图比所述第一深度图具有更高的分辨率，其中，所述第三深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。

在本公开的另一方面，提供了一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：

接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；

接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；

通过对所述第一图像应用卷积神经网络模型来确定第二深度图；以及

通过对所述第一图像、所述第二图像和所述第二深度图应用条件随机域模型来生成第三深度图，所述第三深度图比所述第一深度图具有更高的分辨率，其中，所述第三深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。

在本公开的再一方面，提供了一种数据处理系统，包括：

处理器；以及

存储器，所述存储器联接至所述处理器，以存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：

接收由第一摄像机捕捉的第一图像，所述第一图像捕捉所述自动驾驶车辆的驾驶环境的一部分；

接收第二图像，所述第二图像表示由激光雷达装置产生的、与所述驾驶环境的一部分相对应的第一点云的第一深度图；

通过对所述第一图像应用卷积神经网络模型来确定第二深度图；以及

通过对所述第一图像、所述第二图像和所述第二深度图应用条件随机域模型来生成第三深度图，所述第三深度图比所述第一深度图具有更高的分辨率，其中，所述第三深度图表示用于感知所述自动驾驶车辆周围的所述驾驶环境的第二点云。