[发明专利]基于多尺度聚类和掩码打分的三维点云实例分割方法

说明书

本发明公布了一种基于多尺度聚类和掩码的三维点云实例分割方法，基于深度网络模型预测三维点云的语义和物体中心，通过采用多尺度聚类算法得到聚类实例，再基于掩码和打分网络细化，得到最终的三维点云实例分割结果，从而有效分割多种物体。本发明能够解决单阈值聚类中不能有效分割多种间隔的物体和三维点云实例聚类中存在的噪声点的技术问题，提高三维点云实例分割的精度，提升实例分割效果。

技术领域

本发明属于三维点云数据处理技术领域，涉及基于深度学习的三维点云实例分割技术，具体涉及一种基于多尺度聚类和掩码打分的三维点云实例分割方法。

背景技术

在三维点云数据处理领域的现有技术中，通过三维点云实例分割技术区分场景中各类别的各种物体个体。其中，Li Jiang等人提出三维点云实例分割方法PointGroup(LiJiang, Hengshuang Zhao,Shaoshuai Shi,Shu Liu,ChiWing Fu,and JiayaJia.Pointgroup: Dual-set point grouping for 3d instance segmentation.In CVPR,2020.)，该方法使用深度学习方法估计出三维空间中的物体中心点，再通过单一聚类阈值的聚类算法来得到初步的实例聚类，然后通过打分判断聚类得到的实例的好坏，从而实现对三维点云实例的分割。

但是，由于三维空间点云中的不同实例之间存在多种多样的空间间隔(如图1所示)，很难使用单一的聚类阈值对三维点云空间中的物体/实例进行有效聚类，而且聚类出来的点云实例可能会存在一些错误的噪声点。因此，现有的三维点云实例分割技术存在单一聚类阈值和聚类噪声点的问题，不能有效分割三维空间点云中多种间隔的物体，三维空间点云实例分割精度不高，三维点云实例分割的效果不佳。

发明内容

本发明的目的是提供一种基于多尺度聚类和掩码的三维点云实例分割方法，用以解决单阈值聚类中不能有效分割多种间隔的物体，以及三维点云实例聚类中存在的噪声点的技术问题，提高三维点云实例分割的精度，提升实例分割效果。

本发明的技术方案是：

一种基于多尺度聚类和掩码的三维点云实例分割方法，基于深度网络预测三维点云的语义和物体中心，通过采用多尺度聚类算法得到聚类实例，再基于掩码和打分网络细化，得到最终的三维点云实例分割结果，从而有效分割多种物体；本发明的方法包括如下步骤：

A.基于深度网络预测点云语义和物体中心，具体包括如下步骤：

A1.建立点云特征提取网络，输入为三维点的点云，输出为点云特征；

建立用于提取点云特征的深度神经网络Φ(·)，该点云特征提取网络以包含N个三维点的点云为输入，其中k₀是输入三维点p_i的特征维度，输入点云的特征一般是三维点p_i坐标μ_i＝(x_i,y_i,z_i)和颜色q_i＝(r_i,g_i,b_i)。Φ(·)输出点云特征F＝Φ(P)，其中f_i是每个输入三维点对应的提取特征，k₁是提取特征的维度。

A2.建立用于生成点云语义的神经网络层，以点云特征F为输入，输出点云语义概率；

建立用于生成点云语义的神经网络层该网络层以点云特征F为输入，输出点云语义概率其中c_i是每个三维点的语义概率，L是语义类别数。取最大概率对应的类别得到预测的语义标签s_i为每个三维点的预测语义标签。在网络训练阶段，根据训练数据集中给定的真值语义标签其中为每个三维点的真值语义标签，以及所述网络预测的语义概率C，得到以下语义优化函数