[发明专利]一种基于深度学习的单目图像3D物体检测方法

权利要求书

1.一种基于深度学习的单目图像3D物体检测方法，其特征在于，所述方法包括：

基于彩色图特征和深度图特征提取网络，分别学习彩色图和深度图的三维特征表示；

将学习的彩色图和深度图的三维特征分别送入图像流和深度流检测头中，以联合预测所有先验框的分类得分以及正先验框相比于匹配真实框的回归偏移量；

针对每个正先验框，图像流检测头输出相比于匹配真实框的旋转角偏移量、中心深度偏移量，深度流检测头输出另一组旋转角偏移量和中心深度偏移量；针对同一正先验框的两种不同预测结果，使用平滑L1损失函数来分别计算旋转角和中心深度的一致性损失；

定义旋转角置信度表示该预测框的输出旋转角的准确度，在图像流检测头增加旋转角置信度预测分支以直接输出该预测框的旋转角置信度；

构建网络优化的联合检测损失函数。

2.根据权利要求1所述的一种基于深度学习的单目图像3D物体检测方法，其特征在于，所述方法还包括：

在测试阶段，利用旋转角置信度对分类置信度进行加权，得到综合考虑二维定位信息和方向信息的联合置信度，用于非极大值抑制算法中置信度的排序。

3.根据权利要求1所述的一种基于深度学习的单目图像3D物体检测方法，其特征在于，所述方法还包括设计能够表征旋转角准确度的动态标签对旋转角置信度预测分支进行约束。

4.根据权利要求3所述的一种基于深度学习的单目图像3D物体检测方法，其特征在于，在计算动态标签时引入余弦函数来预测旋转角αⁱ和真实旋转角α^gt所反映的预测框和真实框的方向差异。

5.根据权利要求3或4所述的一种基于深度学习的单目图像3D物体检测方法，其特征在于，所述方法还包括：将动态标签作为旋转角置信度预测分支的回归目标。

6.根据权利要求1所述的一种基于深度学习的单目图像3D物体检测方法，其特征在于，所述构建网络优化的联合检测损失函数包括：

对图像流和深度流预测的成对旋转角和成对中心深度，使用一致性损失来联合训练两种预测分支。