[发明专利]用于激光雷达感知的多视图深度神经网络

说明书

本申请涉及用于激光雷达感知的多视图深度神经网络的技术。深度神经网络(DNN)可以用于从三维(3D)环境的传感器数据中检测对象。例如，多视图感知DNN可以包括多个组分DNN或链接在一起的阶段，其顺序地处理3D环境的不同视图。示例DNN可以包括在第一视图(例如，透视视图)中执行分类分割的第一阶段和在第二视图(例如，俯视)中执行分类分割和/或回归实例几何体的第二阶段。可以对DNN输出进行处理以生成针对3D环境中检测到的对象的2D和/或3D边界框和分类标签。因此，本文所述的技术可以用于检测和分类活动对象和/或环境的部分，并且这些检测和分类可以被提供给自主车辆驱动堆栈，以实现自主车辆的安全规划和控制。

相关申请的交叉引用

本申请要求于2019年11月15日提交的第62/936,080号美国临时申请和于2019年11月21日提交的第62/938,852号美国临时申请的权益，通过引用将其全部内容并入本申请。

背景技术

设计在没有监督的情况下安全驾驶车辆的系统是非常困难的。一辆自动驾驶汽车至少应该在功能上相当于一个细心的驾驶员，他利用感知和行动系统，能够在复杂环境中识别和应对移动和静态障碍物，从而避免与沿该车辆的道路行驶的其他物体或结构相撞。因此，对于自主驾驶感知系统来说，检测活动对象(例如汽车、行人等)和环境的其他部分的能力通常是至关重要的。传统的感知方法通常依赖于照相机或激光雷达传感器来检测环境中的物体，并且已经开发了多种使用深度神经网络(DNN)的方法来执行激光雷达和照相机的感知。这类DNN的分类包括在透视图中执行相机图像全景分割的DNN，以及从激光雷达点云执行俯视或“鸟瞰视图”(BEV)对象检测的DNN。然而，这些传统方法有许多缺点。

例如，传统的全景分割DNN通常在透视图中执行图像的分类和实例分割(例如，来自正面相机或激光雷达范围扫描的RBG图像)。图1是具有透视图和从激光雷达范围扫描的全景分段中分割的分类的示例性激光雷达范围扫描的图示。在图1中，每个激光雷达输入(范围扫描)用显示了示例性分段输出(分段分类)的相应的分类掩码示出。为了简单起见，图1中省略了分段实例。图2是具有透视图的照相机图像的示例性全景分割的图示。在图2中，顶部图像是要分割的输入图像，中间图像是显示叠加在输入图像上的分段分类的分类掩码，下部图像是显示叠加在输入图像上的分段实例的实例掩码。

由于某些分类中对象的几何特征(例如，一致的结构)，透视视图中的全景分割对于某些分类(如行人和骑车人)通常表现得很好。然而，当评估从被分析视图的角度看不到的特征时，全景分割常常受到挑战。例如，虽然全景分割能够检测到正面图像中的行人，但全景分割DNN通常难以准确预测检测到的对象的3D边界框或BEV二维(2D)边界框。类似地，使用透视图的全景分割DNN通常难以准确地检测出具有从所分析视图的透视图看不到的特征的对象。因此，传统的全景分割DNN在预测对象分类、对象实例、维度和方向方面的准确性有限。

传统的DNN从激光雷达点云的BEV(俯视)投影中执行对象检测，在预测BEV 2D边界框时，通常检测单一分类，包括汽车、卡车、公共汽车、行人和/或骑车人。图3是在激光雷达点云的俯视投影上执行的示例对象检测的图示。执行BEV对象检测的DNN通常难以准确检测行人或自行车，因为这些对象的俯视视图通常与其他对象(如杆、树干或灌木丛)的俯视视图相似。因此，执行BEV对象检测的传统DNN在预测对象分类、尺寸和方向方面的精度有限。解决这个问题的一个可能的解决方案是在3D体素化的体上使用3D卷积。然而，3D卷积在计算上非常昂贵，并且需要在待搜索的体中处理大量的空体素空间，从而导致效率低下。

发明内容