[发明专利]一种场景点云语义分割方法

权利要求书

1.一种场景点云语义分割方法，其特征在于，步骤如下：

(1)局部坐标系平面卷积的构建：将点云投影到利用PCA技术对点云分解产生的三个坐标平面，并在三个坐标平面分别构造卷积模块来对点云进行局部特征的提取；

(1.1)局部坐标系平面估计：

对于点云中每个点p，首先通过局部的协方差分析来估计它的局部坐标系平面；具体来讲，对于满足||p-q||R的一个球域中的点集q，对于切平面的估计，点p的切平面的方向是由协方差矩阵∑_qrr^T的特征向量来决定的，r＝q-p；值最小的特征向量决定了切平面的法向量n_p，另外的两个特征向量i和j决定切平面的两个坐标轴的方向；

(1.2)局部坐标系平面卷积：

用点集q表示来自于点p的半径为R的球域范围中的点，并将q分别投影到p的三个坐标平面上；对于每个点p，定义F(p)为点p的一个函数，用于编码颜色、几何特征或来自网络中间层的抽象特征；对于卷积的构建，点p的切平面π_p，定义S(u)是切平面上位置u上的连续信号量，c(u)是位置u上的卷积核参数，其中u∈R²；

因此在点p处的卷积操作定义如下：

(1.3)信号差值：

对于切平面，信号插值目标是用p的邻域点集q的信号量F(q)来估计切平面中参与卷积运算的每个位置的信号量S(u)；首先将q投影到p的切平面上，产生一个投影点集合v＝(r^Ti,r^Tj)；定义：

S(v)＝F(q). (2)

这样，点集v散落在图像平面中；因此将这些信号量进行插值来估计S(u)在参与卷积运算的每个位置的信号量：

∑_v(w(u,v)·S(v)) (3)

这里，w(u,v)是卷积核的权重，并且满足∑_vw＝1；用比较简单的插值方法：最近邻(NN)插值；在这种插值策略中，

最后重新给在点p处进行切平面卷积操作的公式：

(1.4)池化层：

通过将点云信号量散列到常规3D网格上实现池化；对于散落到同一个网格中的点集，通过平均池化来聚合其信号量；考虑点集P＝{p}和对应的信号量{F(p)}，令g代表一个体素网格并令V_g代表P中被散列到g中的点集；假设V_g非空，则将其所有点的信息通过平均池化汇聚到一个点上：

(2)点云语义分割模块：

(2.1)模块输入：

该模块的输入为大规模的室内、室外密集场景点云，点云的数量没有限制，点云的输入特征包含RGBXYZ的信息，需要经过预处理转化为RGB、深度D、高度H、法向量N来作为输入特征；

(2.2)模块架构：

点云语义分割模块是一个自编码结构的卷积神经网络，其作用是实现对输入点云语义信息的预测，公式如下：

I_out＝f_seg(I_in；θ_f) (7)

上式中，I_out是网络对点云关于n个类别语义信息的预测，I_in是输入的包含RGBDHN信息的场景点云；f_seg(·)表示自编码结构的卷积神经网络，θ_f表示网络模型的权重参数；其中，自编码结构的卷积神经网络的编码器中包含2个池化层，目的是通过池化层来聚合卷积模块输出的特征并减少特征的空间维度；每个池化层前面都有3个卷积模块来获取点云的局部信息；解码器中通过上采样层来恢复特征的空间维度，每个上采样层之前同样包含3个卷积模块；在编码器和解码器的对应层之间增加两个跳越连接使网络更好地预测目标的细节；

在每个卷积模块中，在局部坐标系平面卷积之后首先使用一个1×1卷积进一步将特征通道数扩充2倍，接着使用深度可分离卷积实现对冗余特征的解耦，最后使用一个1×1的的卷积核来对特征的融合与压缩；

(3)训练方法

采用包含8个类别的Semantic3D的室外点云场景数据集和包含13个类别的S3DIS的室外场景数据集；采用数据驱动的方法来对模型进行训练，为了解决三维数据集缺乏的问题，分别将Semantic3D的室外点云场景数据集和S3DIS的室外场景数据集中场景点云水平旋转10次将样本数量增加10倍；

点云语义分割模块中自编码结构的卷积神经网络采用反向传播与随机梯度下降的方法训练；对于一个输入的场景点云，使用带有类别权重的交叉熵作为损失函数L_seg，利用式(8)计算权重，其中，类别i的权重w_i为样本中属于类别i的点的数量D_i与样本中所有类别的点的数量D_k的比值的对数的相反数，这是为了缓解数据集中的类别不平衡现象，防止数量占多数的点云支配网络的训练：

利用式(9)计算网络总误差，其中N表示场景点云中点的个数，y_l表示点l的输出在真实类别所对应的得分，w_l为点l所属类别的权重；

获取训练误差后，网络将沿着梯度的反方向来对网络的参数进行更新，迭代直至收敛。