[发明专利]RGB-D多模态特征融合3D目标检测方法

说明书

本发明提出RGB‑D多模态特征融合3D目标检测方法。3D目标检测技术可以获得目标的语义信息、空间尺寸信息，对实现3D智能目标检测着重要的意义。具体来说：首先，改进YOLOv3目标检测网络模型得到2D先验区域，并提出RGB‑D目标显著性检测算法提取目标像素、通过视锥投影获取目标视锥点云；其次，为了去除离群点并减少目标视锥点云的数目，提出了一种多模态特征融合策略来精简目标视锥点云，该策略可以替代基于深度神经网络推理3D目标的过程；最后，利用轴对齐包围盒算法(AABB)生成目标点云的3D边界框，同时利用PCA算法计算目标点云的位姿坐标。本发明的有益效果是：RGB‑D多模态特征融合3D目标检测方法在少量2D标注数据、没有3D标注数据的应用场景中，能提高对场景多尺度目标的检测精度，并有着实时性好、精度高的优点。

技术领域

本发明涉及计算机视觉、图像识别、目标检测领域，特别涉及RGB-D多模态特征融合3D目标检测方法。

背景技术

目标检测作为机器视觉的一个重要分支，涉及多学科多领域的交叉，是目标跟踪、行为识别、场流估计等高等级任务的基础，目标检测的成熟和发展才能使这些高级视觉任务的实现成为可能。目标检测是对场景中的目标物体如汽车、行人、道路等进行识别和定位，目标识别是将场景中的感兴趣物体进行判别，得出该目标物体的所属类别并给出分类的概率；目标定位是对场景中的感兴趣物体的位置进行标定，一般采用方框或者立方体框框出感兴趣物体的边界。目标检测在当前有着巨大的应用前景，例如人脸识别、智能监控、智能车间、智能交通、无人驾驶等领域中都离不开目标检测的身影。而3D目标检测技术不仅可以获得目标的语义信息、还可以获得空间尺寸信息，更具有研究价值和应用前景。

当前，传统的图像处理方法实现目标检测往往需要针对特定的检测目标设计的、复杂的特征提取器，算法存在泛化能力差的问题。传统目标检测方法难以实现智能目标检测。随着人工智能、计算机视觉技术的不断发展，基于神经网络与深度学习技术在图像识别任务中取得了优异的表现。2D目标检测算法得到了快速的发展。2D目标检测技术相较于传统的目标检测方法其优势在于能高效地对多类目标进行检测，并且算法检测精度高、泛化能力和鲁棒性强。但是，2D目标检测方法无法获取目标的实际3D空间信息(空间位姿坐标、3D尺寸等)。因此，3D目标检测可以更加准确的表达检测目标的实际空间位置信息，有利于精确识别并定位这些目标、可以更有效地保证与这些目标交互作业的安全性。

近年来，随着3D激光雷达、RGB-D等深度传感器的精度不断提高，3D目标检测技术也取得了突破性的进展。3D目标检测作为场景理解过程中的重要任务，通过3D目标检测可以实现对3D数据中感兴趣目标的分类和3D边界框的定位。3D目标检测在获取感兴趣目标的语义信息同时，相比2D目标检测还可以进一步准确定位目标的3D边界框。因此，3D目标检测技术比2D目标检测技术更有研究价值。目前，针对室外自动驾驶领域的3D目标检测技术研究与应用较多，室内的3D目标检测研究方向主要集中在生活场景目标的3D检测、机械手臂的定位与工件抓取。这些方法都依赖于特定场景的大量标注数据集，不利于在实际应用场景中的推广。

现有的大多数3D目标检测方法需要构建大规模的3D标注数据集、并且构建大规模的3D标注数据集难度大，这些方法难以在实际应用需求中实现3D目标检测。因此，提出RGB-D多模态特征融合3D目标检测方法,并且该方法能高效地适用于实际应用场景的3D目标检测具有重大的研究意义。

发明内容

本发明的主要目的是提供一种RGB-D多模态特征融合3D目标检测方法。该方法通过改进YOLOv3网络模型可以提高检测场景中多尺度目标的检测精度，同时该方法在少量2D标注数据、不依赖于3D标注数据的情况下实现高效的3D目标检测。

本发明采用如下技术方案实现：RGB-D多模态特征融合3D目标检测方法(以下简写为MMFF-3D目标检测方法)，所述方法包括以下步骤：

步骤1：初步建立检测场景的目标数据集。通过网络爬虫收集图片和在实际车间中拍摄图片，并对该数据集进行2D标注。