[发明专利]用于激光雷达感知的多视图深度神经网络

权利要求书

1.一种方法，包括：

从传感器数据确定表示环境的第一视图的第一数据；

至少基于所述第一数据，使用一个或更多个神经网络(NN)提取表示所述第一视图中描绘的对象或场景的一个或更多个分类的分类数据；

至少基于将所述一个或更多个分类从所述第一视图投影到所述环境的第二视图，生成表示所述第二视图中的一个或更多个分类的经转换的分类数据；以及

至少基于所述经转换的分类数据，使用所述一个或更多个神经网络生成表示所述环境中检测到的一个或更多个对象的一个或更多个边界形状的第二数据。

2.根据权利要求1所述的方法，其中所述第一视图为透视视图，并且所述第二视图为俯视视图。

3.根据权利要求1所述的方法，其中表示所述环境的所述第一视图的所述第一数据包括激光雷达点云的投影，所述投影表示所述环境的透视图，并且其中将所述一个或更多个分类从所述第一视图投影到所述第二视图包括：使用所述激光雷达点云来将所述一个或更多个分类从所述透视图投影到所述环境的俯视视图。

4.根据权利要求1所述的方法，其中所述第一数据表示所述第一视图的激光雷达范围图像，并且确定所述第一数据包括：将激光雷达点云投影到所述激光雷达范围图像中。

5.根据权利要求1所述的方法，其中所述第一数据表示所述第一视图的激光雷达范围图像，所述激光雷达范围图像具有与捕捉所述传感器数据的激光雷达传感器的多条水平扫描线相对应的像素高度。

6.根据权利要求1所述的方法，其中所述传感器数据包括来自自我角色的一个或更多个激光雷达传感器在一段时间内累积的累积传感器数据，并且所述确定表示环境的第一视图的第一数据包括：

将所述累积传感器数据转换为与所述自我角色在特定时刻的位置相对应的运动补偿传感器数据；以及

将所述运动补偿传感器数据投影到二维(2D)图像空间，以生成表示所述环境的所述第一视图的激光雷达范围图像的所述第一数据。

7.根据权利要求1所述的方法，其中将所述一个或更多个分类从所述第一视图投影到所述第二视图包括：对与所述分类数据相关联的3D位置应用可微变换。

8.根据权利要求1所述的方法，其中所述传感器数据表示激光雷达点云，其中所述经转换的分类数据表示所述第二视图中的一个或更多个置信度图，并且所述方法还包括：

至少基于将所述激光雷达点云投影到所述第二视图来生成表示一个或更多个高度图的第三数据；

形成张量，所述张量包括存储表示所述一个或更多个置信度图的所述经转换的分类数据的一个或更多个通道的第一集合和存储表示所述一个或更多个高度图的所述第三数据的一个或更多个通道的第二集合；以及

使用所述一个或更多个神经网络，从所述张量中提取表示所述第二视图中的一个或更多个第二分类的第二分类数据和表示所述一个或更多个对象的对象实例几何形状的第四数据。

9.根据权利要求1所述的方法，还包括：

解码所述一个或更多个神经网络的输出，以为所述一个或更多个对象生成候选边界形状；

基于对所述候选边界框执行过滤或聚类中的至少一个以从所述候选边界框中移除重复候选对象，来识别表示所述一个或更多个对象的所述一个或更多个边界形状的所述第二数据；以及

基于所述一个或更多个神经网络的所述输出为所述一个或更多个边界形状中的每一个指定分类标签。

10.根据权利要求1所述的方法，其中所述确定表示所述一个或更多个边界形状的所述第二数据包括：

解码所述一个或更多个神经网络的输出，以为所述一个或更多个对象产生候选边界形状；以及

基于对带有噪声的应用程序执行非最大抑制或基于密度的空间聚类中的至少一个以从所述候选边界形状中移除重复候选对象，来识别表示所述一个或更多个对象的所述一个或更多个边界形状的所述第二数据。