[发明专利]一种基于混合特征感知神经网络进行3D目标检测的方法

说明书

本发明公开了一种基于混合特征感知神经网络进行3D目标检测的方法，对于3D目标检测物，首先通过MCG算法对RGB图进行预处理得到目标检测物的2D候选区，将2D候选区初始化得到3D候选区，然后将初始化3D候选区后的颜色图和深度图送入由分类任务损失函数和位置比例损失函数组成的双通道混合特征感知的特征提取模块分别获取物体表面特征和几何特征信息，最后将两者信息融合完成3D目检测任务，采用了混合特征感知的策略，在不同的维度上提取感兴趣物体的特征，使提取出的特征包含的维度更多也更具分辨性，能够得到准确的目标检测物的3D真实位置。

技术领域

本发明涉及计算机视觉的目标检测领域，具体涉及一种基于混合特征感知神经网络进行3D目标检测的方法。

背景技术

目标检测计算机视觉研究领域的一个基础问题，它的任务就是给出感兴趣物体在图像中的位置信息和类别信息。传统的做法是用一个2维的矩形框在图像中标定物体，目前针对2D的目标检测技术已经较为成熟。

但是在一些应用场景中，我们不仅仅需要目标的表面信息。它的深度信息也是我们比较关注的一个方向。比如无人驾驶汽车，移动机器人等都需要对物体在物理世界的详细位置信息。这时，目标的3D检测就显得尤为重要。但就目前来看，3D目标检测的研究还不够成熟，主要体现在算法不成熟以及处理对象过于单调。比如目标检测数据具有物体遮挡，光线变化，以及空间物体密集，局部特征不明显，类间样本不均衡等特点，现有的3D目标检测算法不能很好的解决此问题。

发明内容

本发明的目的在于提供一种基于混合特征感知神经网络进行3D目标检测的方法，以克服现有技术的不足，进一步提高3D目标检测的准确率。

为达到上述目的，本发明采用如下技术方案：

一种基于混合特征感知神经网络进行3D目标检测的方法，包括以下步骤：

步骤1)、获取目标检测物的RGB图和RGB图相对应的深度图；

步骤2)、采用MCG算法对RGB图进行预处理，得到目标检测物的2D候选区；

步骤3)、从RGB图中的目标检测物的2D候选区初始化得到一个目标检测物的3D候选区，根据2D候选区域对应的类别联合与RGB图对应的深度图初始化3D候选区的中心点的位置和目标检测物的尺寸大小；

步骤4)、建立分类任务损失函数和位置比例损失函数的神经网络模型，将初始化3D候选区后的RGB图和RGB图相对应的深度图输入到神经网络模型中，神经网络模型输出结果即为目标检测物的真实位置。

进一步的，步骤3)中，目标检测物在世界坐标系中的坐标为其中，x_cam，y_cam，z_cam]是目标检测物在相机坐标系下的中心，[l，w，h]是目标检测物在倾斜坐标系下的3D尺寸，是目标检测物在倾斜坐标系中方向向量与z轴的夹角；倾斜坐标系是通过将相机坐标系中点云的方向与重力方向一致转换得来的，倾斜坐标系没有对相机坐标系做任何的y轴旋转。

进一步的，相机坐标系与倾斜坐标系之间的转换关系如公式(1)所示，倾斜坐标系与世界坐标系之间的转换矩阵由公式(2)得到：

XYZ_tilt＝R_tilt*XYZ_cam (1)

R_tilt＝R_x*R_z (2)

其中，R_tilt是倾斜坐标系与世界坐标系之间的转换矩阵，R_x和R_z分别是x轴和z轴的旋转矩阵。