[发明专利]一种基于混合特征感知神经网络进行3D目标检测的方法

权利要求书

1.一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，包括以下步骤：

步骤1)、获取目标检测物的RGB图和RGB图相对应的深度图；

步骤2)、采用MCG算法对RGB图进行预处理，得到目标检测物的2D候选区；

步骤3)、从RGB图中的目标检测物的2D候选区初始化得到一个目标检测物的3D候选区，根据2D候选区域对应的类别联合与RGB图对应的深度图初始化3D候选区的中心点的位置和目标检测物的尺寸大小；

步骤4)、建立分类任务损失函数和位置比例损失函数的神经网络模型，将初始化3D候选区后的RGB图和RGB图相对应的深度图输入到神经网络模型中，神经网络模型输出结果即为目标检测物的真实位置。

2.根据权利要求1所述的一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，步骤3)中，目标检测物在世界坐标系中的坐标为其中，[x_cam，y_cam，z_cam]是目标检测物在相机坐标系下的中心，[l，w，h]是目标检测物在倾斜坐标系下的3D尺寸，是目标检测物在倾斜坐标系中方向向量与z轴的夹角；倾斜坐标系是通过将相机坐标系中点云的方向与重力方向一致转换得来的，倾斜坐标系没有对相机坐标系做任何的y轴旋转。

3.根据权利要求2所述的一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，相机坐标系与倾斜坐标系之间的转换关系如公式(1)所示，倾斜坐标系与世界坐标系之间的转换矩阵由公式(2)得到：

XYZ_tilt＝R_tilt*XYZ_cam (1)

R_tilt＝R_x*R_z (2)

其中，R_tilt是倾斜坐标系与世界坐标系之间的转换矩阵，R_x和R_z分别是x轴和z轴的旋转矩阵。

4.根据权利要求1所述的一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，根据2D候选区域对应的类别联合与RGB图对应的深度图初始化3D候选区域的中心点的位置和尺寸大小，对于每一个3D的候选区域的尺寸大小，通过与尺寸大小相对应类别的平均尺寸初始化。

5.根据权利要求4所述的一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，对于目标检测物在3D候选区的中心点位置进行初始化得到初始化坐标(x_init，y_init，z_init)，其中z_init通过z_med初始化得到，x_init和y_init通过公式(3)计算得到；对于3D候选区域，初始化为0；

其中，z_med对应的是2D候选区映射到3D候选区的中值深度；f是获取RGB图相机的焦距，(c_x，c_y)是2D候选区的中心坐标，(o_x，o_y)是获取RGB图相机的中心点坐标。

6.根据权利要求1所述的一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，步骤4)中，将RGB图输入神经网络模型理前，通过卷积和池化对输入的RGB图进行降维和特征预处理。

7.根据权利要求1所述的一种基于混合特征感知神经网络进行3D目标检测的方法，其特征在于，利用混合感知模块对降维和特征预处理后的RGB图提取特征，其中混合感知模块是一个相同尺度大小的多层特征感知器；每一层特征感知器都是卷积、池化和激活函数的一个组合。