[发明专利]多模态3D目标检测方法、系统、终端及介质

权利要求书

1.一种多模态3D目标检测方法，其特征在于，包括如下步骤：

分别提取原始图像I和对应的LiDAR点云L的特征；

将所述原始图像I和对应的LiDAR点云L的特征进行点和像素的特征融合，形成LiDAR点云特征，将所述原始图像I的特征作为图像特征，分别生成3D区域提议和2D区域提议；

分别从所述3D区域提议和2D区域提议内提取特征并进行融合，生成最终的3D目标检测结果。

2.根据权利要求1所述的多模态3D目标检测方法，其特征在于，所述分别提取原始图像I和对应的LiDAR点云L的特征，包括：

获取原始图像I、对应的LiDAR点云L、图像特征提取器FE_I以及LiDAR点云特征提取器FE_L；

将所述原始图像I输入到所述图像特征提取器FE_I，得到原始图像I的特征F_I；

将所述LiDAR点云L输入到所述LiDAR点云特征提取器FE_L，得到LiDAR点云L的特征F_L。

3.根据权利要求1所述的多模态3D目标检测方法，其特征在于，所述将所述原始图像I和对应的LiDAR点云L的特征进行点和像素的特征融合，形成LiDAR点云特征，将所述原始图像I的特征作为图像特征，分别生成3D区域提议和2D区域提议，包括：

根据提取得到的所述LiDAR点云L的特征F_L，将所述LiDAR点云L分为前景点L_f和背景点L_b，对于所有前景点L_f，以L_f为中心设置3D锚框A_3D；

将所述3D锚框A_3D投影到图像平面上，得到对应的2D锚框A_2D，形成LiDAR坐标系下的点与图像坐标系下的像素之间的投影关系；

根据所述投影关系，得到所述原始图像I的特征F_I和所述LiDAR点云L的特征F_L之间的对应关系，根据所述对应关系将所述原始图像I的特征F_I和所述LiDAR点云L的特征F_L进行点和像素的特征融合；

以融合得到的特征作为LiDAR点云特征F′_L，对所述3D锚框A_3D进行回归和分类任务，并计算回归误差和分类误差得到回归后的3D锚框A′_3D；以所述原始图像I的特征F_I作为图像特征F_I，对所述2D锚框A_2D进行回归和分类任务，并计算回归误差和分类误差得到回归后的2D锚框A′_2D；

分别取得分最高的前T个2D锚框A′_2D和3D锚框A′_3D，分别作为2D区域提议Pro_2D和3D区域提议Pro_3D；

将所述3D锚框A′_3D根据所述投影关系投影到图像平面生成2D锚框A″_2D，并计算所述2D锚框A″_2D与所述2D锚框A′_2D的误差L_pro；

构建损失函数其中，α，β，γ分别为各项系数，通过最小化该损失函数更新网络参数，直至网络收敛。

4.根据权利要求3所述的多模态3D目标检测方法，其特征在于，所述3D锚框A_3D尺寸为：长3.9米、宽1.6米、高1.5米。

5.根据权利要求3所述的多模态3D目标检测方法，其特征在于，LiDAR坐标系下的点x与图像坐标系下的像素y之间的投影关系为：

其中，f⁽ⁱ⁾，c⁽ⁱ⁾，分别是相机传感器的内参，是0号相机的矫正旋转矩阵，是相机与LiDAR坐标系的旋转向量，是相机与LiDAR坐标系的平移向量。