[发明专利]激光雷达稀疏深度图的处理方法、装置、设备及介质

权利要求书

1.一种激光雷达稀疏深度图的处理方法，其特征在于，包括：

向神经网络输入激光雷达稀疏深度图；

由所述神经网络获取所述深度图的至少两个不同尺度的特征图、针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理、并根据所述有效点特征融合处理的结果获得处理后的深度图，所述处理后的深度图中有效点的数量大于所述激光雷达稀疏深度图中有效点的数量。

2.根据权利要求1所述的方法，其特征在于，所述向神经网络输入激光雷达稀疏深度图包括：

向神经网络输入激光雷达稀疏深度图及所述激光雷达稀疏深度图的蒙板；

其中，所述激光雷达稀疏深度图的蒙板用于指示所述激光雷达稀疏深度图中的有效点；

所述方法还包括：

根据所述激光雷达稀疏深度图的蒙板确定所述至少两个不同尺度的特征图的蒙板；

所述针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理包括：

根据所述至少两个不同尺度的特征图的蒙板，针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理。

3.根据权利要求2所述的方法，其特征在于，所述由所述神经网络获取所述深度图的至少两个不同尺度的特征图，包括：

由所述神经网络对所述激光雷达稀疏深度图进行稀疏卷积处理，以获得所述激光雷达稀疏深度图的特征图；

对所述深度图的特征图进行尺度变换处理，以获得至少两个不同尺度的特征图；

所述至少两个不同尺度的特征图包括：尺度变换处理前的特征图和至少一个尺度变换处理后的特征图。

4.根据权利要求2所述的方法，其特征在于，所述根据所述激光雷达稀疏深度图的蒙板确定所述至少两个不同尺度的特征图的蒙板包括：

由所述神经网络对所述激光雷达稀疏深度图的蒙板进行稀疏卷积处理，以获得所述激光雷达稀疏深度图的特征图的蒙板，对所述蒙板进行尺度变换处理，以获得各特征图的蒙板。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理，包括：

所述神经网络执行至少一级有效点特征融合处理；

在至少一级有效点融合处理中，所述神经网络对多路不同尺度的特征图分别进行有效点特征融合处理；

在所述神经网络执行多级有效点特征融合处理的情况下，前一级融合处理的输出为后一级融合处理提供输入。

6.根据权利要求5所述的方法，其特征在于，所述神经网络对前一级融合处理后输出的特征图进行尺度变换处理，尺度变换处理后的特征图用于提供给后一级的融合处理。

7.根据权利要求5所述的方法，其特征在于，在前一级融合处理的输出路数小于后一级融合处理的输入路数的情况下，前一级融合处理的一路输出以及该路输出的尺度变换处理后的特征图均被作为后一级融合处理的输入。

8.根据权利要求5所述的方法，其特征在于，所述针对所述至少两个不同尺度的特征图分别进行有效点特征融合处理，还包括：

对融合处理后的至少两路输出的特征图进行有效点特征融合处理，以形成一路特征图，所述形成的一路特征图作为后一级的融合处理的输入；或者

所述神经网络对所述形成的一路特征图进行输出处理。

9.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将与所述激光雷达稀疏深度图具有相同视角和大小的图像提供给所述神经网络，所述图像包括：摄像装置摄取到的图像；

所述神经网络获取所述图像的至少一个尺度的特征图，所述图像的相应尺度的特征图被作为相应的融合处理的输入；

其中，所述图像的特征图用于与所述激光雷达稀疏深度图的特征图进行融合处理。