[发明专利]一种3D目标检测系统及其3D目标检测方法

权利要求书

1.一种3D目标检测方法，其特征在于，采用预设的3D目标检测深度网络模型进行检测，所述3D目标检测深度网络模型包括特征提取模块、融合特征模块、区域提案网络和分类回归多任务学习网络，包括以下过程：

特征提取模块提取被检测3D对象的图像特征和点云数据对应的点云特征；

通过融合特征模块计算点云特征和图像特征之间的相互注意力权重得到融合了图像信息和点云信息的融合特征，

所述融合特征输入区域提案网络中，区域提案网络的输出作为分类回归多任务学习网络的输入，所述分类回归多任务学习网络输出3D目标的类别、3D目标矩形包围框的偏移量和朝向，完成3D目标检测。

2.根据权利要求1所述的一种3D目标检测方法，其特征在于，所述3D目标检测深度神经网络的训练过程如下：

设置参数；确定正负样本重采样的比例，对所有正负样本重采样，接着对所有重采样的样本计算损失函数，所述损失函数根据分类回归多任务学习网络的输出进行计算，所述损失函数如下：

L_total＝L_cls+L_reg

式中：L_cls和L_reg分别代表分类损失函数和回归损失函数。

3.根据权利要求2所述的一种3D目标检测深度神经网络模型，其特征在于，在进行设置参数前，需进行数据增强，所述数据增强的步骤如下：

定义一帧点云数据为其中M包含N个点，x_i，y_i，z_i是被检测3D对象的第i个点的空间坐标，r_i是被检测3D对象的第i个点相对应的反射值大小，为四维实数向量空间；

首先进行旋转，定义一个随机旋转参数Rotate∈[-π/4，+π/4]，对点云数据中所有的点按照Z轴和(0，0，0)点进行旋转，具体计算过程如下式，其中M^-、M⁺和M^*表示数据增强后的点云数据：

接着，定义平移参数Trans∈[0.1，10]，从均匀分布中随机采样一个Trans数值，对全部点云数据进行x轴上的移动：

M⁺＝M^-[0，：]+Trans

最后，采用全局缩放尺度对目标的矩形包围框以及整个点云数据进行缩放，定义缩放系数Zoom∈[0.95，1.05]，从均匀分布中随机采样一个Zoom系数与所有点云数据的X、Y和Z坐标相乘，即：

M^*＝M⁺.*Zoom。

4.根据权利要求2所述的一种3D目标检测深度神经网络模型，其特征在于，设置参数包括识别的点云范围、体素网格大小、正样本的锚框的大小、z轴上中心点位置；3D目标朝向的旋转角度和判断正负样本的IoU阈值。

5.根据权利要求1所述的一种3D目标检测方法，其特征在于，被检测3D对象的点云特征和图像特征分别通过基于体素的方法和深度残差学习网络提取。