[发明专利]基于多尺度聚类和掩码打分的三维点云实例分割方法

权利要求书

1.一种基于多尺度聚类和掩码的三维点云实例分割方法，基于深度网络模型预测三维点云的语义和物体中心，通过采用多尺度聚类算法得到聚类实例，再基于掩码和打分网络细化，得到最终的三维点云实例分割结果，从而有效分割多种物体；包括如下步骤：

A.基于深度网络预测点云语义和物体中心，具体包括如下步骤：

A1.建立点云特征提取网络，输入为三维点的点云，输出为点云特征；

建立用于提取点云特征的深度神经网络Φ(·)，为点云特征提取网络；对于包含N个三维点的点云其中k₀是输入三维点p_i的特征维度，N为点云中三维点的个数；该点云特征提取网络输入点云特征为点云坐标μ_i＝(x_i，y_i，z_i)和颜色q_i＝(r_i，g_i，b_i)；输出为点云特征F＝Φ(P)，其中f_i是每个输入三维点p_i对应的提取特征，k₁是提取特征的维度；

A2.建立用于生成点云语义的神经网络层，以点云特征F为输入，输出点云语义概率；

建立用于生成点云语义的神经网络层该神经网络层以点云特征F为输入，输出点云语义概率其中c_i是每个三维点的语义概率，L是语义类别数；

获取最大语义概率对应的类别，得到预测的语义标签s_i为每个三维点的预测语义标签；

在网络训练阶段，根据训练数据集中给定的真值语义标签和点云语义概率C，得到语义优化函数表示为：

其中，是交叉熵函数，为每个三维点的真值语义标签；

A3.建立用于生成点云中心的神经网络层，以点云特征F为输入，输出点云的中心偏移量；

建立用于生成点云中心的神经网络层ψ(·)，该网络层以点云特征F为输入，输出中心偏移量其中是每个三维点在三个坐标轴方向上的偏移量；将预测的偏移量和原坐标相加，得到预测的点云中心其中o_i＝μ_i+d_i是每个三维点的中心坐标位置；

在网络训练阶段，根据训练数据集合中得到的真值偏移量以及网络预测的偏移量D，得到偏移量优化函数表示为：

其中，I是真值实例，|I|是真值实例的个数，N_j是真值实例I_j中点的数量；是每个三维点在三个坐标轴方向上的真值偏移量；

B.根据网络预测的点云语义标签S和点云中心O进行多尺度聚类，得到初始候选实例每个候选实例由属于该候选实例的|G_i|个三维点p_j构成；记为|G|个候选实例总共包含个点；

C.采用掩码打分的网络结构对初始候选实例G进行细化并打分得到分数；包括如下步骤：

C1.根据候选实例从点云特征中选出对应的实例的特征U；

C2.建立用于生成实例掩码的网络层η(·)，以U为该网络层的输入，输出实例掩码概率

C3.通过网络预测得到的掩码概率得到掩码其中m_i是每个三维点的掩码值；b_i是每个三维点的掩码概率；

C4.在网络训练阶段，根据训练数据集得到的真值掩码和网络预测得到的掩码概率B，得到掩码优化函数表示为：

其中，|G|为候选实例的个数；N_g是第g个候选实例中三维点的个数；是每个三维点的掩码值；

C5.建立提取实例打分特征的网络层ω(·)，该网络层以U为输入，输出实例打分的特征E^g＝η(U)，其中是每个实例对应的打分特征；k₂是输出实例特征的维度；

C6.根据上述得到的掩码M，通过掩码池化层对E^g进行掩码池化，池化的方向是每个实例中的每个点，得到掩码的打分特征E^m＝Pooling(M*E^g)，其中是每个掩码对应的打分特征；

C7.建立给掩码打分的网络层ζ(·)，该网络层以E^m为输入，得到掩码打分E＝ζ(E^m)，其中e_i是每个实例对应的打分；

根据训练数据集得到的真值分数和掩码打分E，得到打分优化函数表示为：

表示预测的打分和真值打分的损失；是每个实例对应的真值打分；

将所有优化函数相加，作为总的优化函数

D.测试阶段，根据得到的候选实例G、对应的掩码M、打分E，通过非极大值抑制算法从掩码后的候选实例中选出最终的实例R；

通过上述步骤，实现基于多尺度聚类和掩码的三维点云实例分割。