[发明专利]一种基于知识蒸馏和语义融合的点云场景分割方法

权利要求书

1.一种基于知识蒸馏和语义融合的点云场景分割方法，其特征是：包括以下步骤：

将设定场景的点云输入数据，划分为多个立方体块，将局部场景立方体块中的点云，和以局部区域为中心延xy方向扩大一定倍面积的全局场景中稀疏采样后的点云，输入到双流图神经网络中；

构建基于对抗学习的知识蒸馏模型，将稠密局部分支作为老师，稀疏分支作为学生，使用对抗学习损失约束稀疏分支生成和稠密分支分布一致的特征，将细节信息传递给稀疏点云的特征；

构建二分图和动态可学习的邻接矩阵，通过同时学习稠密局部点云特征和稀疏全局点云特征的高层语义关系和空间位置关系将全局的上下文语义信息融合至局部区域，得到分割结果；

所述使用对抗学习损失约束稀疏分支生成和稠密分支分布一致的特征，将细节信息传递给稀疏点云的特征，具体为，取稀疏全局分支编码层的输出特征和稠密局部分支编码层的输出特征的坐标，对该坐标进行全局特征的插值，在其后连接两层多层感知机，作为稀疏特征生成的模拟细节信息特征输出；

将该输出和稠密局部分支编码层的输出特征，分别输入判别器中判断输入特征来自稠密分支还是来自稀疏分支特征生成；

判别器由两层集合聚合层组成，每个集合聚合层的采样点数不变；

构建基于最小二乘对抗学习的知识蒸馏损失函数，固定稠密局部分支的参数，使用对抗学习中的最小最大策略优化基于最小二乘对抗学习的知识蒸馏损失函数，同时对稀疏全局流使用语义分割损失进行监督；

对模拟细节信息特征输出的特征和稠密局部分支编码层的输出特征构建一个二分图，二分图中的每一点连接模拟细节信息特征输出的特征中的每一点作为图的边。

2.如权利要求1所述的一种基于知识蒸馏和语义融合的点云场景分割方法，其特征是：将设定场景中的点云输入数据分为小的立方体块，对立方体块内的点云进行均匀采样，采样后送入一个第一深度图神经网络，作为稠密局部分支的输入，输入数据维度为点云的三维立体坐标。

3.如权利要求1所述的一种基于知识蒸馏和语义融合的点云场景分割方法，其特征是：对每一个局部输入立方体块沿x和y轴方向分别做多倍扩展，得到全局立方体块，对全局立方体块内点云进行采样，采样后送入一个与第一深度图神经网络不共享网络参数的第二深度图神经网络，作为稀疏全局分支的输入，输入数据维度为点云的三维立体坐标。

4.如权利要求1所述的一种基于知识蒸馏和语义融合的点云场景分割方法，其特征是：对于网络输出结果和分割真实标签，构造语义分割的损失函数，采用反向传播算法和随机梯度下降法来分别减小稠密局部分支和稀疏全局分支的损失函数，训练该模型。

5.如权利要求1所述的一种基于知识蒸馏和语义融合的点云场景分割方法，其特征是：采用动态学习的方式学习图的邻接矩阵，同时考虑对应二分图的两集合中的点之间的高层特征关系和空间相对位置关系，首先用两层多层感知器对输入进行特征变换，然后计算学习邻接矩阵的边的值，动态得到学习邻接矩阵的边的值后稠密局部分支的点，根据学到的图的信息进行融合全局分支中的上下文语义信息；融合语义信息后的特征输入四层的解码器得到最终语义分割结果。