[发明专利]弱监督下的三维场景分割方法和装置

权利要求书

1.一种弱监督下的三维场景分割方法，其特征在于，包括以下步骤：

对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签；

根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点；

将所述过分割块图输入组合网络，对所述过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，以使标注信息从已被标注的过分割块扩展到所有过分割块，对三维点云场景中所有未标注的点产生伪标签；

在执行上述步骤后的所述过分割块图中节点分别对应于三维场景中不同实例，节点特征对应为实例特征，通过将所述实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所述组合网络和所述分类器网络；

在所述组合网络和所述分类器网络训练完毕后，对所述组合网络输入三维点云场景和标注的块级标签，将所述组合网络输出的伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。

2.如权利要求1所述的方法，其特征在于，

所述组合网络包括一个结构组合层、两个语义组合层和一个聚类处理；其中，所述语义组合层中包括一个特征提取器网络、一个图卷积网络和一个聚类处理，所述结构组合层包括一个特征提取器网络和一个聚类处理。以及层之间的网络参数不共享。

3.如权利要求2所述的方法，其特征在于，所述语义组合层，层内部处理流程包括：

对三维场景中每个过分割块分别使用相同的特征提取器网络提取过分割块特征，将每个过分割块特征合并到对应的过分割块图中节点特征中；

使用图卷积网络对过分割块图中节点特征进行更新，根据节点之间近邻关系从语义上缩小属于同一实例的节点之间的差异，并扩大属于不同实例的节点之间的差异；

使用聚类算法使得过分割块图中相似的相邻节点组合为一个节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。

4.如权利要求3所述的方法，其特征在于，在图卷积网络处理中，任一个节点特征为所述相邻的邻居节点特征为计算所述和所述之间的相似度公式为：

其中，λ为控制函数斜率的正参数。

5.如权利要求3所述的方法，其特征在于，所述结构组合层和语义组合层中，在层尾使用聚类算法对过分割块图中的节点进行处理，包括：

对所述过分割块图中所有相邻的成对节点，如果它们不属于不同实例，并且节点特征之间的距离低于给定阈值，则将两个节点合并为一个新节点，被合并节点所对应的过分割块也同样合并为更大的过分割块。

6.如权利要求2所述的方法，其特征在于，所述在结构组合层和语义组合层后，使用聚类算法对过分割块图中所有未标注的节点进行处理，包括：

遍历所有未标注的节点，通过比较相邻节点的节点特征之间的距离，将每个未标注的节点合并到过分割块图中最相似的邻居节点中，被合并节点所对应的过分割块也同样合并为更大的过分割块。

7.如权利要求1所述的方法，其特征在于，网络训练步骤包括迭代以下两步骤：

正向传播，在固定整个网络参数的情况下，输入三维场景和块级标注，通过构建过分割块图并使用组合网络对图中节点进行合并操作，将标注信息从已标注的过分割块传播到未标注的过分割块，对三维点云场景中所有未标注的点产生伪标签，将组合网络输出的实例特征输入分类器网络获取所标注语义类别的分类分数；

反向传播，在固定伪标签的情况下，根据分类器网络输出的分类分数计算出交叉熵损失，梯度反传优化组合网络和分类器网络的参数。

8.一种弱监督下的三维场景分割装置，其特征在于，包括：

标注获取模块，对每个实例的上标注一个点以给出实例位置和语义类别，利用过分割算法将标注点扩展到过分割块，获取所述每个实例的块级标签；

伪标签生成模块，根据过分割块之间的近邻关系，以每个过分割块为一个节点构建过分割块图，将每个过分割块的标注状况扩展到所述过分割块图中相应的图节点，使用组合网络对过分割块图中节点进行多层次组合处理，将所有未被标注的节点被合并到已标注的节点，从而使得标注信息从已被标注的过分割块扩展到所有过分割块，以此对三维点云场景中所有未标注的点产生伪标签；

伪标签优化模块，组合处理模块后所产生的过分割块图中节点分别对应于三维场景中不同实例，节点特征即对应为实例特征，将实例特征输入分类器网络获取所标注语义类别的分类分数，计算损失并使用梯度反传训练所有网络，使得组合网络能够产生更优质的伪标签；

强监督训练模块，对训练后的组合网络输入三维点云场景和标注的块级标签，使用组合网络输出的伪标签，将此伪标签作为监督信息在训练集上训练现有的强监督点云场景分割网络，训练完毕后在测试集上对该强监督点云场景分割网络进行性能评估。