[发明专利]稀疏2D点集的深度特征提取方法及装置

说明书

提供一种稀疏2D点集的深度特征提取方法及装置。稀疏2D点集的深度特征提取方法包括：根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据；分别对关键点集和局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；根据关键点集的关系特征编码和/或局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。此外，对稀疏2D点集进行深度特征提取得到的全局特征和/或局部特征可以用于估计预设对象的6自由度位姿，还可以用于对输入的稀疏2D点集数据进行分割。

技术领域

本公开涉及一种稀疏2D点集的深度特征提取方法及装置。

背景技术

对传统的2D点集(像素点)进行处理以用于估计物体的6自由度位姿的过程，是一个相当复杂的流程，包括关键点特征提取，2D-3D配准，几何变换，非线性优化等，这需要大量的计算资源，同时噪声会比较大。

近年来，基于深度学习解决这个问题的方法越来越多。例如，采用卷积神经网络(CNN)对图像进行处理以估计物体的位姿，相比传统的方法具有比较好的鲁棒性。然而，该方案主要针对稠密的2D像素点集，提取的是图片中的纹理和轮廓特征，这对无序点集，尤其是稀疏点集(没有纹理、轮廓和颜色RGB)是不适用的。

而随着3D传感器的发展，近几年针对3D点集的深度学习提出了很多方法，而且能够处理针对无序点集、稀疏甚至极度稀疏点集的方法。其中，最有代表性的有PointNet家族和PointConv方法。

其中，PointNet、PointNet++和PointConv都是通过提取点集的全局特征和局部特征，对点集进行处理。然而以上三种方式在提取全局特征和局部特征的过程中，均未能全面考虑稀疏2D点集的特征，导致点集的深度特征信息并不准确，在后续的使用场景中效果不够理想。

发明内容

本公开的示例性实施例在于提供一种稀疏2D点集的深度特征提取方法及装置，以提高稀疏2D点集的深度特征提取的准确性，进而可以提高位姿估计和点集分割等的准确性，并且为相似场景提供通用性的解决方案。

根据本公开的示例性实施例，提供一种稀疏2D点集的深度特征提取方法，包括：根据输入的稀疏2D点集数据，生成所述稀疏2D点集数据的具有空间层次的包括关键点集和局部点集的点集结构数据，所述点集结构数据中包括所述关键点集的每个关键点与所述局部点集的局部子点集之间的一一对应关系；分别对所述关键点集和所述局部点集进行关系特征编码，得到关键点集的关系特征编码和局部点集的关系特征编码；根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征，从而实现了稀疏点集深度网络特征的完整准确提取。

可选地，所述分别对所述关键点集和所述局部点集进行关系特征编码的步骤可包括：采用非局部编码的方式对所述关键点集进行点与点之间的关系特征编码，得到所述关键点集的关系特征编码；采用非局部编码的方式对所述局部点集进行点与点之间的关系特征编码，得到局部点集的关系特征编码，从而实现了分别对关键点集和局部点集进行关系特征编码。

可选地，所述根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征的步骤可包括：基于所述关键点集的关系特征编码，采用最大池化层提取所述全局特征，从而实现了全局特征的提取。

可选地，所述根据所述关键点集的关系特征编码和/或所述局部点集的关系特征编码分别提取所述输入的稀疏2D点集数据的全局特征和/或局部特征的步骤可包括：基于所述局部点集的关系特征编码，对局部特征提取器子网络的前预设数量层的结果进行融合，以提取所述局部特征，从而实现了局部特征的提取。