[发明专利]一种场景点云语义分割方法

摘要

本发明属于计算机视觉技术领域，提供了一种场景点云语义分割方法，设计基于深度学习技术的大规模密集场景点云语义分割模型的框架，对于输入的大规模密集场景点云，能够在信息不丢失的情况下将点云的三维信息转化为卷积可以直接处理的二维信息，并结合图像语义分割的技术来完成点云语义分割的任务。在这种框架下，能有效解决大规模密集场景点云的语义分割任务。本发明的方法得到的场景点云的语义分割结果可以直接利用在机器人导航、自动驾驶等任务。并且该方法在非人工合成的自然场景中效果尤其显著。

主权项

1.一种场景点云语义分割方法，其特征在于，步骤如下：(1)局部坐标系平面卷积的构建：将点云投影到利用PCA技术对点云分解产生的三个坐标平面，并在三个坐标平面分别构造卷积模块来对点云进行局部特征的提取；(1.1)局部坐标系平面估计：对于点云中每个点p，首先通过局部的协方差分析来估计它的局部坐标系平面；具体来讲，对于满足||p‑q||(1.3)信号差值：对于切平面，信号插值目标是用p的邻域点集q的信号量F(q)来估计切平面中参与卷积运算的每个位置的信号量S(u)；首先将q投影到p的切平面上，产生一个投影点集合v＝(rTi,rTj)；定义：S(v)＝F(q).  (2)这样，点集v散落在图像平面中；因此将这些信号量进行插值来估计S(u)在参与卷积运算的每个位置的信号量：∑v(w(u,v)·S(v))  (3)这里，w(u,v)是卷积核的权重，并且满足∑vw＝1；用比较简单的插值方法：最近邻(NN)插值；在这种插值策略中，最后重新给在点p处进行切平面卷积操作的公式：(1.4)池化层：通过将点云信号量散列到常规3D网格上实现池化；对于散落到同一个网格中的点集，通过平均池化来聚合其信号量；考虑点集P＝{p}和对应的信号量{F(p)}，令g代表一个体素网格并令Vg代表P中被散列到g中的点集；假设Vg非空，则将其所有点的信息通过平均池化汇聚到一个点上：(2)点云语义分割模块：(2.1)模块输入：该模块的输入为大规模的室内、室外密集场景点云，点云的数量没有限制，点云的输入特征包含RGBXYZ的信息，需要经过预处理转化为RGB、深度D、高度H、法向量N来作为输入特征；(2.2)模块架构：点云语义分割模块是一个自编码结构的卷积神经网络，其作用是实现对输入点云语义信息的预测，公式如下：Iout＝fseg(Iin；θf)  (7)上式中，Iout是网络对点云关于n个类别语义信息的预测，Iin是输入的包含RGBDHN信息的场景点云；fseg(·)表示自编码结构的卷积神经网络，θf表示网络模型的权重参数；其中，自编码结构的卷积神经网络的编码器中包含2个池化层，目的是通过池化层来聚合卷积模块输出的特征并减少特征的空间维度；每个池化层前面都有3个卷积模块来获取点云的局部信息；解码器中通过上采样层来恢复特征的空间维度，每个上采样层之前同样包含3个卷积模块；在编码器和解码器的对应层之间增加两个跳越连接使网络更好地预测目标的细节；在每个卷积模块中，在局部坐标系平面卷积之后首先使用一个1×1卷积进一步将特征通道数扩充2倍，接着使用深度可分离卷积实现对冗余特征的解耦，最后使用一个1×1的的卷积核来对特征的融合与压缩；(3)训练方法采用包含8个类别的Semantic3D的室外点云场景数据集和包含13个类别的S3DIS的室外场景数据集；采用数据驱动的方法来对模型进行训练，为了解决三维数据集缺乏的问题，分别将Semantic3D的室外点云场景数据集和S3DIS的室外场景数据集中场景点云水平旋转10次将样本数量增加10倍；点云语义分割模块中自编码结构的卷积神经网络采用反向传播与随机梯度下降的方法训练；对于一个输入的场景点云，使用带有类别权重的交叉熵作为损失函数Lseg，利用式(8)计算权重，其中，类别i的权重wi为样本中属于类别i的点的数量Di与样本中所有类别的点的数量Dk的比值的对数的相反数，这是为了缓解数据集中的类别不平衡现象，防止数量占多数的点云支配网络的训练：利用式(9)计算网络总误差，其中N表示场景点云中点的个数，yl表示点l的输出在真实类别所对应的得分，wl为点l所属类别的权重；获取训练误差后，网络将沿着梯度的反方向来对网络的参数进行更新，迭代直至收敛。