[发明专利]鸟瞰图视角特征图处理方法、装置、电子设备及存储介质

权利要求书

1.一种鸟瞰图视角特征图处理方法，其特征在于，所述方法包括：

获取相机视角的原始图像和原始深度图，并提取所述原始图像的图像特征；

对所述原始深度图进行深度预测得到N张目标深度图，并根据所述N张目标深度图将所述图像特征投影到三维空间，得到所述原始图像中每个像素的三维投影点；N为正整数；

对所述三维投影点进行鸟瞰图视角池化，得到第一鸟瞰图视角特征图；

获取激光雷达对应的第二鸟瞰图视角特征图；

将所述第一鸟瞰图视角特征图和所述第二鸟瞰图视角进行特征融合，得到目标鸟瞰图视角特征图。

2.根据权利要求1所述的鸟瞰图视角特征图处理方法，其特征在于，所述提取所述原始图像的图像特征，包括：

提取所述原始图像中每个像素点的图像特征。

3.根据权利要求1所述的鸟瞰图视角特征图处理方法，其特征在于，所述对所述原始深度图进行深度预测得到N张目标深度图，并根据所述N张目标深度图将所述图像特征投影到三维空间，得到所述原始图像中每个像素的三维投影点，包括：

通过训练完成的深度补全网络对所述原始深度图中的每个像素进行N个深度的深度预测，得到N张目标深度图；其中，每张目标深度图中的每个像素对应1个深度预测值；

采用所述N个深度预测值将所述原始图像中每个像素的所述图像特征投影到三维空间，得到所述原始图像中每个像素的N个三维投影点。

4.根据权利要求1所述的鸟瞰图视角特征图处理方法，其特征在于，所述对所述三维投影点进行鸟瞰图视角池化，得到第一鸟瞰图视角特征图，包括：

对所述每个像素的三维投影点进行鸟瞰图视角池化，得到每个鸟瞰图视角网格的特征向量；

将每个鸟瞰图视角网格的特征向量合并，得到第一鸟瞰图视角特征图。

5.根据权利要求1所述的鸟瞰图视角特征图处理方法，其特征在于，所述获取激光雷达对应的第二鸟瞰图视角特征图，包括：

获取所述激光雷达采集到的雷达数据；

对所述雷达数据进行鸟瞰图视角特征提取，得到第二鸟瞰图视角特征图。

6.根据权利要求1所述的鸟瞰图视角特征图处理方法，其特征在于，还包括：

基于所述目标鸟瞰图视角特征图对所述原始图像进行实体预测，得到针对原始图像中各个实体的预测结果。

7.一种鸟瞰图视角特征图处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取相机视角的原始图像和原始深度图；

提取模块，用于提取所述原始图像的图像特征；

处理模块，用于对所述原始深度图进行深度预测得到N张目标深度图，并根据所述N张目标深度图将所述图像特征投影到三维空间，得到所述原始图像中每个像素的三维投影点；N为正整数；

池化模块，用于对所述三维投影点进行鸟瞰图视角池化，得到第一鸟瞰图视角特征图；

第二获取模块，用于获取激光雷达对应的第二鸟瞰图视角特征图；

融合模块，用于将所述第一鸟瞰图视角特征图和所述第二鸟瞰图视角进行特征融合，得到目标鸟瞰图视角特征图。

8.根据权利要求7所述的鸟瞰图视角特征图处理装置，其特征在于，所述提取模块，具体用于：

提取所述原始图像中每个像素点的图像特征。

9.根据权利要求7所述的鸟瞰图视角特征图处理装置，其特征在于，所述处理模块，具体用于：

通过训练完成的深度补全网络对所述原始深度图中的每个像素进行N个深度的深度预测，得到N张目标深度图；其中，每张目标深度图中的每个像素对应1个深度预测值；

采用所述N个深度预测值将所述原始图像中每个像素的所述图像特征投影到三维空间，得到所述原始图像中每个像素的N个三维投影点。