[发明专利]基于对抗式学习与多模态学习的点云语义分割方法及系统

权利要求书

1.一种基于对抗式学习与多模态学习的点云语义分割方法，其特征在于，所述方法包括如下步骤：

数据预处理：分别在源领域与目标领域上，建立3D点云数据与2D前视图像之间的对应关系，并根据所述对应关系，将所述3D点云数据上的标签传递至所述2D前视图像的采样点上，以在所述2D前视图像上得到包含类别标签的源领域数据；

模型训练与建立：根据所述包含类别标签的源领域数据以及无类别标签标注的目标领域数据，对判别器、二维图像子网络以及三维点云子网络进行训练，至收敛后以建立得到点云语义分割网络模型，其中，所述点云语义分割网络模型包括二维图像子网络以及三维点云子网络，所述2D前视图像用于输入至所述二维图像子网络中，所述3D点云数据用于输入至所述三维点云子网络中，并在2D特征、融合特征以及3D特征上分别得到2D语义分割结果P_2D、融合语义分割结果P_F以及3D语义分割结果P_3D；训练所述判别器用于将2D语义分割结果P_2D作为输入，并判断2D语义分割结果P_2D来自源领域或目标领域，训练所述二维图像子网络用于缩小源领域与目标领域上分别得到的2D语义分割结果P_2D之间的差异；

输出结果测试：将目标领域中任一所述3D点云数据以及对应的所述2D前视图像输入至所述点云语义分割网络模型中，经语义分割网络模型计算得出点云语义分割结果。

2.根据权利要求1所述的基于对抗式学习与多模态学习的点云语义分割方法，其特征在于，在所述模型训练与建立的步骤中，训练判别器的目标函数表示为：

其中，|S|和|T|分别表示源领域和目标领域训练用到的图片数量，L_D表示领域交叉熵损失，用于衡量判别器判断图片所属领域错误的代价，和分别表示源领域图像和目标领域图像输入点云语义分割网络中的二维子网络后得到的图像特征，和分别表示源领域图像和目标领域图像对应的交叉熵损失，θ_D表示判别器所需要学习的参数，0表示目标领域的标签，1表示源领域的标签。

3.根据权利要求1所述的基于对抗式学习与多模态学习的点云语义分割方法，其特征在于，在所述模型训练与建立的步骤中，所述二维图像子网络的训练方法包括如下步骤：

根据当前二维子网络的参数得到源领域上图像的语义分割预测值，计算得到二维语义分割结果损失；

根据当前二维子网络和三维子网络的参数，得到源领域图像和点云融合特征的语义分割预测值，计算得到融合特征语义分割结果损失；

根据当前二维子网络和判别器参数计算得到目标领域上的二维图像的对抗损失；

根据源领域上的所述二维语义分割结果损失，源领域上的所述融合特征语义分割结果损失以及目标领域上的所述二维图像的对抗损失计算得到二维子网络的总损失目标函数；

根据所述二维子网络的总损失目标函数，基于梯度下降法进行参数更新迭代计算，以至收敛后以建立得到所述点云语义分割网络模型。

4.根据权利要求3所述的基于对抗式学习与多模态学习的点云语义分割方法，其特征在于，源领域上的所述融合特征语义分割结果损失表示为：

其中，为融合特征对应的分割结果损失，x_s表示源领域中带有语义分割标注信息的一对点云和2D前视图像，y_s是源领域中点云的语义分割标签，N表示点云中数据点的个数，c表示预先定义的类别数量，是源领域点云中标号为n的点的标签，表示点n输出的融合特征关于类别c的参数预测值。

5.根据权利要求4所述的基于对抗式学习与多模态学习的点云语义分割方法，其特征在于，源领域上的所述二维语义分割结果损失表示为：

其中，表示二维语义分割结果损失，表示源领域中的二维图像，表示二维子网络中的点n输出的关于类别c的参数预测值。