[发明专利]基于自标注训练样本的三维目标检测方法、系统及装置

权利要求书

1.一种基于自标注训练样本的三维目标检测方法，其特征在于，该三维目标检测方法包括：

通过第一模型进行输入图像序列的三维目标检测，获得目标类别和目标在三维空间中的位置、朝向和所占空间体积；

其中，所述第一模型为基于虚拟样本数据和真实样本数据共同训练的三维目标检测模型，其训练方法为：

步骤S10，将所述三维目标检测模型嵌入CARLA模拟器，并通过所述CARLA模拟器生成虚拟样本数据；所述虚拟样本数据包括CARLA模拟器中的深度传感器和激光雷达得到的深度图像和点云数据；

步骤S20，获取所述三维目标检测模型的少量真实样本数据，并进行所述虚拟样本数据和真实样本数据的样本级和锚点级的特征提取，获得样本级特征图和锚点级特征图；所述真实样本数据包括真实场景中的深度传感器和激光雷达得到的深度图像和点云数据；

步骤S30，通过样本级二分类器进行所述样本级特征图的二分类，并基于分类结果进行所述样本级特征图的特征对齐，获得样本级对齐特征图和样本级分类标签；通过锚点级二分类器进行所述锚点级特征图的二分类，并基于分类结果进行所述锚点级特征图的特征对齐，获得锚点级对齐特征图和锚点级分类标签；所述样本级分类标签包括虚拟样本分类标签0和真实样本分类标签1；所述锚点级分类标签包括虚拟样本分类标签0和真实样本分类标签1；

步骤S40，将获得的对齐特征图和对应的分类标签加入所述三维目标检测模型的训练样本集，并进行模型的迭代训练直至模型的损失函数值低于设定阈值或达到设定训练次数，获得训练好的第一模型。

2.根据权利要求1所述的基于自标注训练样本的三维目标检测方法，其特征在于，步骤S10之后还设置有虚拟样本数据增强的步骤，其方法为：

通过基于激光雷达引导的采样算法根据所述点云数据中的激光点在深度图像上的投影位置进行采样，将采样后的深度图像反投影回相机三维坐标系，得到增强后的点云数据，获得增强的虚拟样本数据。

3.根据权利要求1所述的基于自标注训练样本的三维目标检测方法，其特征在于，所述三维目标检测模型为具有流线结构的多凸壳的三维物理碰撞模型。

4.根据权利要求1-3任一项所述的基于自标注训练样本的三维目标检测方法，其特征在于，步骤S20包括：

步骤S21，基于所述虚拟样本数据和真实样本数据中的点云数据构建激光点云数据库D：

其中，D_i代表激光点云数据库中第i个激光点云数据，x_i,y_i,z_i表示激光点云中第i个点相对于激光雷达的三维位置信息，R_i表示激光点云中第i个点的反射率，N为激光点云中点云的数量；

步骤S22，进行所述数据库的体素网格划分，并通过特征提取器进行每个体素网格中点云的特征提取，获得空间稀疏的体素特征；

步骤S23，通过稀疏卷积编码所述空间稀疏的体素特征，获得空间特征图f_s(x,y,z)：

其中，F(·)表示特征提取，包括三位空间栅格化操作、池化操作和全连接操作；D_i代表输入的激光点云数据，(x,y,z)表示空间特征图f_s(x,y,z)的坐标；

步骤S24，将所述空间特征图投影到顶视图进行垂直方向的维度压缩，获得样本级特征图；

步骤S25，基于所述样本级特征图，通过特征金字塔卷积网络获取不同尺度的特征，并通过反卷积层合并所述不同尺度的特征，获得锚点级特征图。

5.根据权利要求1所述的基于自标注训练样本的三维目标检测方法，其特征在于，所述样本级二分类器，其训练中的领域自适应损失函数L_sample为：

其中，F_s表示卷积和非线性激活的操作，n_s和n_t分别代表用于样本级二分类器训练的源领域和目标领域的样本数量，D_s代表样本级二分类器，代表源领域样本数据的样本级特征图，代表目标领域样本数据的样本级特征图。