[发明专利]基于分割网络和对抗网络的三维点云语义分割方法

说明书

本发明公开了一种基于分割网络和对抗网络的三维点云语义分割方法，实现步骤为：(1)构建分割网络；(2)构建梯度估计模块；(3)构建对抗网络；(4)构建基于分割网和对抗网三维点云语义分割网络；(5)初始化分割网络和对抗网络；(6)生成训练数据集和训练标签集；(7)训练分割网络和对抗网络；(8)对三维点云数据进行分割。本发明通过对抗网络提取高维特征，分割网络进行点云分割，具有测试阶段点云分割时间短、分割结果精度高的优点。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于分割网络和对抗网络的三维点云语义分割方法。本发明可用于从室内机器人的机载深度摄像机采集的点云数据中分割障碍物，也可用于对卫星获取的城市遥感三维点云数据进行分类识别。

背景技术

点云是指通过测量仪器得到的产品外观表面的点数据集合。点云语义分割是指为点云中的每个点分配语义标签，是使用三维点云数据进行空间感知与分析的常用手段。在室内机器人避障领域，三维点云数据是记录物体的位置信息的一种重要载体。机载深度摄像机能够快速、大范围地获取到较高精度的三维点云数据，基于深度学习的点云分割方法是将三维点云数据直接输入到深度学习中，充分保留了点云数据的全局信息和局部信息，大大提高了分割精度。而在遥感图像领域，基于深度学习的点云分类方法是利用训练好的网络权重矩阵得到分割结果的多种特征图，从而对分割结果进行修正。

西安电子科技大学在其申请的专利文献“基于位置注意力和辅助网络的3D点云语义分割方法”(专利申请号：201910604264.0，授权公告号：CN110322453A)中提出了一种基于深度学习的3D点云语义分割方法。该方法首先获取室内环境中的三维点云数据，然后构建包括依次级联的特征下采样网络，位置注意力模块，特征上采样网络和辅助网络的语义分割网络，再利用基于期望最大化算法得到高斯混合模型的算法程序对点云数据进行初始分类，最后利用多分类的交叉熵损失函数对语义分割网络进行有监督的训练。该方法虽然加强了输入数据的各个质心所代表的特征之间的相关性，分割精度较高，但是，该方法仍然存在的不足之处是，由于该方法没有考虑到分割结果和真实标签之间的高维不一致性，导致了在分割结果中存在不合理的点的问题。

西安电子科技大学在其申请的专利文献“基于嵌套神经网络和栅格地图的三维点云分类方法”(专利申请号：201910493994.8，公开号：CN110222767A)中公开了一种遥感激光雷达点云分类方法。首先搭建嵌套神经网络，对三维点云数据进行标准化处理后，输入到构建的嵌套神经网络中进行训练得到分割结果，进而生成梯度图、类别图、混合图。利用坐标投影法修改三维点云的类别标签，得到最终分类结果。该方法虽然使用了有效的后处理手段更正分割结果，分类结果的区域一致性较好，但是，该方法仍然存在的不足之处是后处理过程增加了分割点云的时间，导致实际应用过程中测试阶段分割点云时间长的问题。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于分割网络和对抗网络的三维点云语义分割方法，用于解决现有三维点云语义分割方法中存在的未考虑到分割结果和真实标签之间的高维不一致性，导致了在分割结果中存在不合理的点，以及后处理过程增加了分割点云的时间，导致实际应用过程中测试阶段分割点云时间长的技术问题

为实现上述目的，本发明的思路是，首先将训练集输入到分割网络得到初始预测的标签结果，将初始预测的标签结果输入到梯度模块中得到预测标签结果，将预测标签结果和对应的标签集依次输入到对抗网络，对抗网络对依次输入的预测标签结果和标签集提取高维特征，分割网络和对抗网络交替训练，最后将只将待分割的点云输入到训练好的分割网络中，得到最后的点云语义分割结果。

本发明的技术方案包括如下步骤：

(1)构建分割网络：

(1a)搭建一个10层的分割网络，其结构依次为：第一提取层→第二提取层→第三提取层→第四提取层→第一回传层→第二回传层→第三回传层→第四回传层→第三卷积层→第四卷积层；