[发明专利]一种跨场景对比学习的弱监督点云语义分割方法

说明书

一种跨场景对比学习的弱监督点云语义分割方法，涉及三维点云处理领域。1)对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；2)利用现有的网络为无标签样本推理生成其相应的伪标签，并使用动态阈值窗的方法选取一部分可信赖的伪标签；3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；4)迭代地进行步骤2)和3)，直至模型收敛。在要求不同场景点云相同类别的类别原型具有紧凑性的同时要求不同类别的类别原型之间具有分散性。不需要精心设计数据增加方法，有效降低噪声伪标签对于模型性能的影响。可用于自动驾驶，增强现实设备等。

技术领域

本发明涉及三维点云处理领域，尤其涉及一种跨场景对比学习的弱监督点云语义分割方法。

背景技术

三维点云语义分割因为其应用前景以及实际应用价值，近年来受到广泛的关注，并涌现出许多优秀的方法。这些方法大致分为三大类：基于体素的方法、基于二维投影的方法和基于点的方法。相比于前两种方法，基于点的方法可以直接处理原始的具有无序性和不规则性的三维点云数据，而不需要进行耗时的和容易造成上下文信息损失的数据预处理和后处理，因此其受到更为广泛的关注。现有的方法通常依赖于密集注释的点级别语义标签为网络训练提供监督。比如中国专利CN111242208A公开一种基于图卷积和通道注意力机制的点云分类、分割的方法，所述方法包括：通过KNN图卷积模块捕获点云数据的局部特征，增加特征空间中领域内点云与点云之间的关联；通过通道注意力模块增加点云数据的通道注意力，增加特征通道之间的相互依赖关系，加强点云的全局特征表示，从而提高利用深度网络进行三维点云的分类和/或分割的预测准确度。但是这类方法对于包含数十亿个点的大尺度的现实场景，为每一个点都进行标注是费时费力不切实际的。

弱标注是降低标注成本的有效方法，近年来只标注一小部分点或者语义类别的弱监督学习受到广泛的关注。弱监督学习是利用大量的未标注样本和一小部分标注样本来训练网络，它可以大致分为两类：基于扰动一致性正则化的方法和基于伪标签的方法。

基于扰动一致性正则化方法的主要目标是获得扰动/增强不变的输出分布，其利用数据增加的技术，使得相同的未标注样本的不同扰动版本之间有着相同的模型预测输出。但是这类方法需要精心设计适合的数据增加方法，限制其在实际中的进一步应用。基于伪标签方法是利用已训练的网络为未标注的样本生成人工的伪标签，并将它们添加到训练数据集中，参与到后续的训练中。然而可能会有太多错误的伪标签被选择，这导致后续训练变为噪声学习，从而降低模型的性能。

发明内容

本发明的目的在于针对现有的弱监督点云语义分割方法没有考虑伪标签的不可靠性，并且无法有效处理伪标签存在的噪声在模型优化中所带来的不利影响等问题，提供可实现利用少量的标注信息，在不用设计复杂的数据增加方法的同时，可以减少噪声伪标签对模型训练的不利影响得到每个点的具有判别性的语义特征的一种跨场景对比学习的弱监督点云语义分割方法。

本发明包括以下步骤：

1)模型初始化：对弱监督数据集中每个场景的点云数据进行预训练，初始化网络参数，得到模型输出的特征向量和类别预测分布；

2)生成并选取伪标签：利用现有的网络为无标签样本推理生成其相应的伪标签，并使用动态阈值窗的方法选取一部分可信赖的伪标签；

3)利用跨场景的对比约束更新网络参数：添加跨场景对比正则化约束，以更新网络的参数；

4)判断模型是否收敛，是则结束，否则重复步骤2)和3)，直至模型收敛。

在步骤1)中，所述每个场景的点云数据包含有标签点集合(X^l,Y)和无标签点集合其中，分别表示每个场景包含N_l个有标签点和N_u个无标签点(N_l＜＜N_l)，是有标签点所对应的标签；