[发明专利]一种基于知识蒸馏和语义融合的点云场景分割方法

说明书

本公开提供了基于知识蒸馏和语义融合的点云场景分割方法，构建双流网络框架，包括稠密局部支流和稀疏全局支流。其中稠密局部支流的输入为全局场景中的局部区域稠密点云，稀疏全局支流的输入为采样后的全局场景点云。然后设计了基于不规则数据的蒸馏模块，使用欧式距离和对抗学习损失函数进行知识蒸馏，将局部稠密细节信息传递给稀疏全局支流。最后设计了动态图上下文语义信息融合模块，将细节信息增强后的全局特征与局部特征进行融合。该方法充分互补利用局部场景丰富的细节信息和全局场景丰富的上下文语义信息，同时避免增加计算量，可以有效提升大规模室内场景的点云分割结果。

技术领域

本公开属于计算机视觉与模式识别技术领域，涉及一种基于知识蒸馏和语义融合的点云场景分割方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

3D点云场景语义分割是一个重要且具有挑战性的经典计算机视觉任务，在无人驾驶，智能家居，增强现实，虚拟现实等任务中有广泛应用。直接处理大规模场景的点云数据进行语义分割存在如何表达不规则数据的特征和如何处理大规模数据等问题。

据发明人了解，目前的改进方法为处理大规模点云数据将大规模场景划分为独立的小立方体块，送入深度图神经网络进行处理。然而划分为小立方体块后全局的上下文语义信息大量丢失，制约了特征的学习到更大感受野范围的信息，限制了语义分割的效果。

发明内容

本公开为了解决上述问题，提出了一种基于知识蒸馏和语义融合的点云场景分割方法。

根据一些实施例，本公开采用如下技术方案：

一种基于知识蒸馏和语义融合的点云场景分割方法，包括以下步骤：

将设定场景的点云输入数据，划分为多个立方体块，将局部场景立方体块中的点云，和以局部区域为中心延xy方向扩大一定倍面积的全局场景中稀疏采样后的点云，输入到双流图神经网络中；

构建基于对抗学习的知识蒸馏模型，将稠密局部分支作为老师，稀疏分支作为学生，使用对抗学习损失约束稀疏分支生成和稠密分支分布一致的特征，将细节信息传递给稀疏点云的特征；

构建二分图和动态可学习的邻接矩阵，通过同时学习稠密局部点云特征和稀疏全局点云特征的高层语义关系和空间位置关系将全局的上下文语义信息融合至局部区域，得到分割结果。

作为进一步的限定，将设定场景中的点云输入数据分为小的立方体块，对立方体块内的点云进行均匀采样，采样后送入一个第一深度图神经网络，作为稠密局部分支的输入，输入数据维度为点云的三维立体坐标。

作为进一步的限定，对每一个局部输入立方体块沿x和y轴方向分别做多倍扩展，得到全局立方体块，对全局立方体块内点云进行采样，采样后送入一个与第一深度图神经网络不共享网络参数的第二深度图神经网络，作为稀疏全局分支的输入，输入数据维度为点云的三维立体坐标。

作为进一步的限定，对于网络输出结果和分割真实标签，构造语义分割的损失函数，采用反向传播算法和随机梯度下降法来分别减小稠密局部分支和稀疏全局分支的损失函数，训练该模型。

作为进一步的限定，稀疏全局分支编码层的输出特征和稠密局部分支编码层的输出特征的坐标，对该坐标进行全局特征的插值，在其后连接两层多层感知机，作为稀疏特征生成的模拟细节信息特征输出；

将该输出和稠密局部分支编码层的输出特征，分别输入判别器中判断输入特征来自稠密分支还是来自稀疏分支特征生成。

作为进一步的限定，判别器由两层集合聚合层组成，每个集合聚合层的采样点数不变。

作为进一步的限定，构建基于最小二乘对抗学习的知识蒸馏损失函数，固定稠密局部分支的参数，使用对抗学习中的最小最大策略优化中的损失函数，同时对稀疏全局流使用语义分割损失进行监督；