[发明专利]一种基于深度学习的三维目标检测方法、装置及终端设备

权利要求书

1.一种基于深度学习的三维目标检测方法，其特征在于，包括：

在获取到指定场景对应的点云数据的情况下，对所述点云数据进行预处理得到多个第一点云方柱；

分别对每个所述第一点云方柱中包括的数据点进行特征扩展，得到多个完成特征扩展后的第二点云方柱；

将所述多个第二点云方柱作为预设的特征学习网络的输入，以提取所述多个第二点云方柱中的点云特征，并基于所述点云特征将各数据点映射为与所述指定场景对应的伪图像；

将所述伪图像作为预设的候选框生成网络的输入，以对所述伪图像中包括的三维目标进行预测，得到所述指定场景中包含的三维目标对应的边界回归图和/或置信概率图。

2.根据权利要求1所述的基于深度学习的三维目标检测方法，其特征在于，所述特征学习网络包括集合抽象层、残差预测层、全连接层和最大池化层；

所述将所述多个第二点云方柱作为预设的特征学习网络的输入，以提取所述多个第二点云方柱中的点云特征，并基于所述点云特征将各数据点映射为与所述指定场景对应的伪图像，包括：

将所述多个第二点云方柱作为所述集合抽象层的输入，以分别对各所述第二点云方柱中包括的数据点进行特征聚合得到多个关键特征点，以及各所述关键特征点的第一坐标矩阵以及第一特征矩阵；

将各所述关键特征点的第一坐标矩阵以及第一特征矩阵作为所述残差预测层的输入，分别计算得到各所述关键特征点的空间偏移量和特征偏移量，将关键特征点对应的所述空间偏移量与第一坐标矩阵相加得到第二坐标矩阵、特征偏移量与第一特征矩阵相加得到第二特征矩阵，并对所述第二坐标矩阵和所述第二特征矩阵进行拼接；

将所述残差预测层输出的拼接结果作为所述全连接层的输入，以对所述拼接结果中包括的特征点进行分类；

将所述全连接层的输出作为所述最大池化层的输入，以映射得到所述指定场景对应的伪图像。

3.根据权利要求1所述的基于深度学习的三维目标检测方法，其特征在于，所述预设的候选框生成网络包括骨网和头网；

所述将所述伪图像作为预设的候选框生成网络的输入，以对所述伪图像中包括的三维目标进行预测，得到所述指定场景中包含的三维目标对应的边界回归图和/或置信概率图，包括：

将所述伪图像作为所述骨网的输入，以对所述伪图像进行多尺度特征融合，得到目标特征图；

将所述目标特征图作为所述头网的输入，以预测得到所述指定场景中包含的三维目标对应的边界回归图和/或置信概率图。

4.根据权利要求3所述的基于深度学习的三维目标检测方法，其特征在于，所述骨网包括特征融合层以及依次连接的多个残差网络；

所述将所述伪图像作为所述骨网的输入，以对所述伪图像进行多尺度特征融合，得到目标特征图，包括：

(1)将所述伪图像作为第一残差网络的输入，以通过所述第一残差网络对所述伪图像中包括的特征进行下采样，得到具有第一尺度的第一特征图，所述第一残差网络为所述依次连接的多个残差网络中的第一个残差网络；

(2)将所述具有第一尺度的第一特征图作为与所述第一残差网络相邻的第二残差网络的输入，以通过所述第二残差网络对所述具有第一尺度的第一特征图进行下采样，得到具有第二尺度的第一特征图；

(3)将所述第二残差网络作为第一残差网络，重复执行(2)，直到基于所述多个残差网络得到多个具有不同尺度的第一特征图，所述第一特征图与所述残差网络一一对应；

(4)将所述伪图像以及具有不同尺度的多个所述第一特征图作为所述特征融合层的输入，以分别对所述伪图像以及多个所述具有不同尺度的第一特征图进行卷积或反卷积，得到多个具有相同尺度的第二特征图，并对多个所述第二特征图进行特征融合，得到所述目标特征图。

5.根据权利要求4所述的基于深度学习的三维目标检测方法，其特征在于，每个所述残差网络包括一个卷积层和多个残差块，所述残差块包括至少两个卷积层。