[发明专利]鸟瞰图视角特征图处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种鸟瞰图视角特征图处理方法、装置、电子设备及计算机可读存储介质，涉及自动驾驶领域，该方法包括：获取相机视角的原始图像和原始深度图，并提取所述原始图像的图像特征；对所述原始深度图进行深度预测得到N张目标深度图，并根据所述N张目标深度图将所述图像特征投影到三维空间，得到所述原始图像中每个像素的三维投影点；N为正整数；对所述三维投影点进行鸟瞰图视角池化，得到第一鸟瞰图视角特征图；获取激光雷达对应的第二鸟瞰图视角特征图；将所述第一鸟瞰图视角特征图和所述第二鸟瞰图视角进行特征融合，得到目标鸟瞰图视角特征图。本发明实施例节省了内存、显存占用，提高了视角变换的计算效率，从而提高运行效率。

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种鸟瞰图视角特征图处理方法、一种鸟瞰图视角特征图处理装置、一种电子设备和一种计算机可读存储介质。

背景技术

近来，由于鸟瞰图视角(Bird Eye's View，BEV)特征在自动驾驶领域3D感知技术领域的重要性，有许多深度学习领域的工作关注从相机视角到BEV特征图变换。具体采用以下几种方式：

1)通过隐式地预测深度分布将特征图反向投影到三维空间中，再利用BEV池化操作得到鸟瞰图视角下的特征图；

2)不显式预测深度分布，而是通过将三维体素投影到图像上的二维边界框，通过累加二维框内特征作为三维体素的特征；

3)通过稀疏矩阵乘法实现图像视角特征图到鸟瞰图视角特征的转化。

但是，上述方法不依赖显示深度图预测的方法引入了许多不必要的2D-3D的连接，增加了不必要的计算，导致运行效率较差。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种鸟瞰图视角特征图处理方法、一种鸟瞰图视角特征图处理装置、一种电子设备和一种计算机可读存储介质。

为了解决上述问题，本发明实施例公开了一种鸟瞰图视角特征图处理方法，所述方法包括：

获取相机视角的原始图像和原始深度图，并提取所述原始图像的图像特征；

对所述原始深度图进行深度预测得到N张目标深度图，并根据所述N张目标深度图将所述图像特征投影到三维空间，得到所述原始图像中每个像素的三维投影点；N为正整数；

对所述三维投影点进行鸟瞰图视角池化，得到第一鸟瞰图视角特征图；

获取激光雷达对应的第二鸟瞰图视角特征图；

将所述第一鸟瞰图视角特征图和所述第二鸟瞰图视角进行特征融合，得到目标鸟瞰图视角特征图。

在一个或多个实施例中，所述提取所述原始图像的图像特征，包括：

提取所述原始图像中每个像素点的图像特征。

在一个或多个实施例中，所述对所述原始深度图进行深度预测得到N张目标深度图，并根据所述N张目标深度图将所述图像特征投影到三维空间，得到所述原始图像中每个像素的三维投影点，包括：

通过训练完成的深度补全网络对所述原始深度图中的每个像素进行N个深度的深度预测，得到N张目标深度图；其中，每张目标深度图中的每个像素对应1个深度预测值；

采用所述N个深度预测值将所述原始图像中每个像素的所述图像特征投影到三维空间，得到所述原始图像中每个像素的N个三维投影点。

在一个或多个实施例中，所述对所述三维投影点进行鸟瞰图视角池化，得到第一鸟瞰图视角特征图，包括：

对所述每个像素的三维投影点进行鸟瞰图视角池化，得到每个鸟瞰图视角网格的特征向量；