[发明专利]一种基于局部深度图像关键性的点云匹配方法

说明书

本发明公开了一种基于局部深度图像关键性的点云匹配方法，涉及点云匹配技术领域，包括用相机采集模型的二维图片和点云数据；标注二维图片的关键区域并获取点云的关键区域；选取关键点并获取关键点处的切平面，将关键点的邻域向切平面投影，投影位置为像素坐标，点到投影位置距离为灰度值，生成局部深度图；将关键点和非关键点的局部深度图设为训练样本，用算法对其训练一个神经网络，基于神经网络判断出的关键性数值，采用点云几何特征算法进行点云匹配。本发明利用深度学习技术，对各点在匹配任务中的关键性判断，降低了非关键性点在匹配中的干扰，提高了匹配准确度和速度。

技术领域

本发明涉及点云匹配技术领域，尤其是涉及一种基于局部深度图像关键性的点云匹配方法。

背景技术

点云匹配就是要将单个模型点云与场景点云中存在的一个或多个该物体进行位置与姿态的对齐。目前盛行的方法有两类，一类是人工提取点云几何特征的方法，要求选取的几何特征具有旋转平移不变性，常用的有点对特征(PPF)、快速点特征直方图(FPFH)等。另一类是基于深度学习的方法，以场景深度图为输入，通过神经网络输出场景中能与模型匹配上的点云位置与姿态。前一类方法中存在的问题是人工提取点云几何特征由于维数低，故缺乏独特性，造成场景中每个点都可以与模型中的多个点有相似的特征，从而造成位姿匹配候选情况过多，降低了匹配准确性。后一类方法利用深度学习技术提取点云的高维特征，有利于各点特征之间的区分，提高匹配准确性。但由于点云为三维场景，受物体摆放姿态影响，同一物体在不同摆放姿态下的深度图会有显著差别，要想备齐各姿态下的场景深度图，工作量非常巨大，难以实现。如果以少量位姿下的深度图进行网络训练，又降低了神经网络的匹配精度。所以目前深度学习方法，在匹配精度上，相较于传统的几何特征提取方法并没有体现出优势。

中国专利CN202010100002.3公开了一种基于多特征融合的点云配准方法、装置及存储介质，所述方法包括：分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，特征点包括源点云特征点和目标点云特征点；根据特征描述子，将源点云特征点与目标点云特征点进行配对，生成特征点对；根据特征点对生成变换矩阵，并根据变换矩阵对源点云进行变换，生成第二源点云，继而对第二源点云以及目标点云进行精配准。通过实施本发明实施例能够提高特征描述子的表达能力，从而提高整体配准精度。

中国专利CN201911038035.3公开了一种基于深度学习的点云匹配方法，将两片点云进行配准，包含以下步骤：步骤1，建立关键点；步骤2，构造匹配对和不匹配对；步骤3，将点云进行体素化；步骤4，计算三维彩色点云中各点的几何特征；步骤5，训练得出3D描述子；步骤6，优化描述子；步骤7，利用神经网络训练得出的计算权重；步骤8，计算得出精准的关键点的描述子向量；步骤9，完成点云匹配。

中国专利CN201910977774.2公开了点云匹配方法、装置、计算机设备和存储介质，通过降低该第一深度图集合的分辨率得到第二深度图集合；将第一深度图集合和第二深度图集合转换为第一点云和第二点云；在第一点云集合中确定第一待匹配点云和第一目标点云，在第二点云集合中确定第二待匹配点云和第二目标点云；由于第二点云的分辨率比第一点云的分辨率低，所以第二待匹配点云和第二目标点云进行最近点迭代，得到第二空间变换矩阵的过程相对更快；再在第一待匹配点云和第一目标点云进行最近点迭代之前，利用第二空间变换矩阵对第一待匹配点云进行空间变换，使得第一待匹配点云与第一目标点云对应的最近点的距离减小，最近点迭代的速度提高，从而提高第一点云的匹配速度。