[发明专利]一种基于深度学习的单目图像3D物体检测方法

说明书

本发明公开了一种基于深度学习的单目图像3D物体检测方法，包括：基于彩色图特征和深度图特征提取网络，分别学习彩色图和深度图的三维特征表示；将学习的彩色图和深度图的三维特征分别送入图像流和深度流检测头中，以联合预测所有先验框的分类得分以及正先验框相比于匹配真实框的回归偏移量；在图像流和深度流检测输出间引入对预测旋转角和中心深度的一致性约束；定义旋转角置信度表示该预测框的输出旋转角的准确度，在图像流检测头增加旋转角置信度预测分支以直接输出该预测框的旋转角置信度；构建网络优化的联合检测损失函数。本发明联合优化彩色图特征和深度图特征的学习过程，保留方向预测更加准确的预测框，从而提升单目图像3D物体的检测性能。

技术领域

本发明涉及计算机视觉、3D物体检测领域，尤其涉及一种基于深度学习的单目图像3D物体检测方法。

背景技术

3D物体检测旨在分类和定位真实三维空间中存在的物体，目前已广泛应用于自动驾驶、智能机器人等领域。现有的3D物体检测方法大多利用诸如激光雷达扫描仪、双目相机等三维传感器来感知物体的几何结构信息。相比于三维传感器，单目相机成本低廉，在实际场景中具有更为广泛的应用。因此，如何提高基于单目图像的3D物体检测性能，受到了研究人员的广泛关注。

为了有效地感知单目图像中的三维物体，现有的单目图像3D物体检测方法通常从原始图像中估计深度图来挖掘深度信息。例如，Wang等人提出了一种基于伪点云的方法，该方法将深度图转换为伪点云数据，并将其送入基于点云的检测器来生成检测结果。然而这类方法在后续检测过程中缺乏对图像信息的充分利用，其性能很大程度上取决于深度图的质量。与这类方法不同，Manhardt等人融合了二维感兴趣区域内的深度特征和图像特征，并基于融合特征生成最终的检测结果。Ding等人提出了深度引导的动态卷积方法，用于提取准确的特征表示。然而上述方法只是将深度图作为补充信息来辅助单目图像进行3D物体检测，存在以下不足：1)深度特征提取过程缺乏检测相关的监督信号，难以获取适用3D检测的深度特征；2)仅融合深度特征的方法忽略了深度图检测结果中的定位信息对图像检测的辅助作用。

深度图反映了物体与相机之间的距离，其预测的物体中心深度相比于图像更为准确。此外，与主要包含颜色纹理信息的彩色图不同，深度图中深度值的变化趋势能够表征物体的方向信息。因此，深度图在预测物体的旋转角和中心深度方面具有一定的优势。有效地利用深度图所隐含的定位信息是提高3D物体检测性能的关键手段。在后处理过程中，现有的3D物体检测方法利用非极大值抑制算法(NMS)来保留分类置信度较高的预测框。然而，传统的NMS仅仅利用分类置信度来衡量三维预测框的定位质量，忽略了物体方向这一重要属性，所保留的预测框很难准确地表征物体的位姿信息。因此，研究如何利用方向信息提高预测框的定位质量是至关重要的。

发明内容

为了充分挖掘深度图潜在的定位信息，并有效利用方向信息来准确衡量预测框质量，本发明提出了一种基于深度学习的单目图像3D物体检测方法，联合优化彩色图特征和深度图特征的学习过程，保留方向预测更加准确的预测框，从而提升单目图像3D物体的检测性能，详见下文描述：

一种基于深度学习的单目图像3D物体检测方法，所述方法包括：

基于彩色图特征和深度图特征提取网络，分别学习彩色图和深度图的三维特征表示；

将学习的彩色图和深度图的三维特征分别送入图像流和深度流检测头中，以联合预测所有先验框的分类得分以及正先验框相比于匹配真实框的回归偏移量；

在图像流和深度流检测输出间引入对预测旋转角和中心深度的一致性约束；

定义旋转角置信度表示该预测框的输出旋转角的准确度，在图像流检测头增加旋转角置信度预测分支以直接输出该预测框的旋转角置信度；

构建网络优化的联合检测损失函数。

其中，所述在图像流和深度流检测输出间引入对预测旋转角和中心深度的一致性约束为：