[发明专利]RGB-D多模态特征融合3D目标检测方法

权利要求书

1.RGB-D多模态特征融合3D目标检测方法，其特征在于，将深度学习技术与3D点云处理技术相结合，并有效应用于少量2D标注和没有3D标注图像数据集，整体流程包括以下步骤：

步骤1：建立检测目标的数据集，通过网络爬虫收集包括主要检测目标的RGB图像，该部分数据在训练中将被作为相似领域数据集；利用深度相机拍摄实际包含主要目标的RGB图像和深度图像，该部分数据在训练中将被作为目标数据集，并将该目标数据集划分为训练集和测试集；

步骤2：改进YOLOv3目标检测网络的主干网络DarkNet53，得到MD56-YOLOv3目标检测网络；

步骤3：利用步骤1中的相似领域数据集，预训练MD56-YOLOv3目标检测网络；再利用步骤1中的目标数据集的训练集，迁移学习训练MD56-YOLOv3目标检测网络；

步骤4：提出RGB-D目标显著性检测算法来分割由MD56-YOLOv3目标检测网络输出的2D矩形框中目标的像素点区域；

步骤5：将RGB-D目标显著性检测算法分割得到的目标像素点区域映射对齐于目标的深度图像，并通过视锥投影生成目标视锥点云；

步骤6：提出RGB-D多模态特征融合策略精简步骤5中得到目标视锥点云，获得精简目标视锥点云；

步骤7：利用AABB算法和PCA算法生成3D目标的边界框；

步骤8：将步骤1-7涉及的所有算法整合为RGB-D多模态特征融合3D目标检测方法，利用步骤1收集的目标数据集的测试集进行测试；

上述步骤2中的对YOLOv3目标检测网络的主干网络DarkNet53的改进包括如下步骤：

步骤21：将MD56-YOLOv3目标检测网络的输入目标图像尺寸416*416调整为448*448，以提取更多的特征信息并提升网络的检测精度；

步骤22：在YOLOv3目标检测网络的3个尺度特征提取分支处分别添加一层卷积核大小为3*3，步长为1，填充大小为1的特征提取层，分别增大y1、y2、y3输出不同尺度预测目标的观测范围；

步骤23：在MD56-YOLOv3目标检测网络输出特征时，对相应的特征维度进行调整，并且对网络的预测结果进行坐标框解码，通过坐标框解码映射到目标图像坐标真实值；

上述步骤4中RGB-D目标显著性检测算法还包括如下步骤：

步骤41：基于GrabCut算法获取RGB图像中的目标像素点区域，并进一步结合阈值分割算法获取深度图像中的目标像素点区域，分割得到由MD56-YOLOv3目标检测网络输出的2D矩形框中目标的像素点区域；

步骤42：当输出的2D矩形框没有重叠的情况，根据阈值F_t将其分为目标像素点区域和背景像素点区域；

步骤43：当输出的2D矩形框重叠时，设阈值分别为和则利用和将输出的2D矩形框分为目标像素点区域、前景像素点区域和背景像素点区域；

步骤44：最终输出的RGB图像目标像素点值P_rgb(x，y)由基于GrabCut算法获取RGB图像中的目标像素点值与深度图像阈值分割的像素点值P_d(x,y)结合得到，其表达公式如下：

2.如权利要求1所述的RGB-D多模态特征融合3D目标检测方法，其特征在于，步骤1中还包括如下步骤：

对目标数据集中的目标进行2D标注，并将标注的目标类别信息和目标位置信息保存于文本文件中。

3.如权利要求1所述的RGB-D多模态特征融合3D目标检测方法，其特征在于，步骤3中需要GrabCut算法来实现。

4.如权利要求1所述的RGB-D多模态特征融合3D目标检测方法，其特征在于，步骤6中的目标的RGB特征由边缘提取算法和角点检测算法提取，深度图像特征为目标视锥点云的点云密度分布特征，而RGB-D多模态特征融合是将RGB特征与点云密度分布特征进行融合。