[发明专利]一种基于邻域块匹配提高三维重建点云稠密程度的方法

摘要

本发明公开了一种基于邻域块匹配提高三维重建点云稠密程度的方法，包括：使用基于图像序列的三维重建算法得到粗糙且稀疏的物体点云，得到每一帧图像拍摄时相机在三维空间中的变换矩阵；再次对原始图像进行处理，使用基于邻域的块匹配算法，对图像中进行稠密特征匹配；接下来根据得到的相机在空间中的位置，对得到的稠密特征点对进行合法性检验，并将符合要求的特征点映射到三维点云中对应的位置；使用基于物体轮廓的外点删除算法对得到的点云进行一次外点过滤，并进行一次颜色重映射，得到质量远好于原始点云的稠密点云。本发明能够得到质量和稠密都远高于传统算法的点云，能够大幅度改善原始算法的效果，改进重建质量；普适性高，鲁棒性强。

主权项

1.一种基于邻域块匹配提高三维重建点云稠密程度的方法，其特征在于，所述基于邻域块匹配提高三维重建点云稠密程度的方法包括以下步骤：步骤一，使用基于图像序列的三维重建算法得到粗糙且稀疏的物体点云，得到每一帧图像拍摄时相机在三维空间中的变换矩阵；步骤二，再次对原始图像进行处理，使用基于邻域的块匹配算法，对图像中进行稠密特征匹配；步骤三，接下来根据得到的相机在空间中的位置，对得到的稠密特征点对进行合法性检验，并将符合要求的特征点映射到三维点云中对应的位置；步骤四，使用基于物体轮廓的外点删除算法对得到的点云进行一次外点过滤，并进行一次颜色重映射，得到最终质量远好于原始点云的稠密点云；所述基于邻域块匹配提高三维重建点云稠密程度的方法具体包括以下步骤：第一步，使用绕拍图像序列进行三维重建；第二步，选取相邻的图像进行基于邻域的块匹配的稠密特征生成算法，确定邻域步长n，即每幅图像会与其左右各两幅图像进行稠密特征的计算；第三步，确定相邻图像匹配的步长n后，遍历整个图像序列，以每一幅图像为基准图像，与其后方的n帧图像进行基于邻域的块匹配算法；在原始图像中，沿行和列方向每隔多个像素点取一个点作为需要进行匹配的特征点，用于基于块匹配的特征计算；第四步，确定采样率r后，对于每一对需要进行匹配特征的图像(P₁，P₂)即得到了需要计算的P₁中的匹配点集Pt；遍历Pt中所有的特征点，以每一个特征点为中心，在其周围选取X*Y大小的图像块，使用插值算法将其行列都扩充为原先的8倍，记为I_src；在P₂中，以同样的坐标点为中心，选取M*N大小的图像块，同样使用插值算法将其行列都扩充为原先的8倍，记为I_dist；第五步，当I_dist图像块大小足够大时，能够找到图像块I_src所对应的图像块I_match；此时图像块I_match的中心在图P₂中的位置也就是构造图像块I_src时所用的特征点在图像P₂上对应的匹配点；第六步，完成特征匹配后，得到了需要的图像对之间的稠密特征对；对于图像序列中的每一帧，将和它进行过特征匹配计算的图像记作P₂；将拍摄P₁和P₂时的相机光心位置分别记作C₁和C₂；遍历P₁的特征点集Pt中所有的特征点的位置，在三维空间中的相平面上找到它所在的位置Pt₁；同时找到Pt₁在图像P₂上的匹配点在三维空间中相平面上的位置Pt₂’；并在三维空间中做射线C₁Pt₁’以及C₂Pt₂’；得到射线L₁和L₂；第七步，对于得到的射线L₁与L₂来说，如果匹配点对Pt₁与Pt₂是正确的匹配点，那么L₁与L₂在空间中应该相交在物体模型的对应点上；设置一个阈值T，当这两条异面直线之间的最近点之间的距离小于T时，这一对匹配点是合法的匹配点对；第八步，对于得到的合法匹配点对，若所做射线L₁与L₂交于一点，则将交点作为新的特征点补充进初始点云中；若L₁与L₂为最近点距离小于阈值T的异面直线；则取L₁和L₂的最近点对的中点位置作为新的三维点加入初始点云中；第九步，进行基于物体轮廓的杂点滤除，对于每一帧图像，提取物体轮廓，通过得到的相机变换矩阵，将点云反投影至三维空间中相平面的位置，将轮廓区域内的点保留；而反投影过后，在任意一帧中，出现在物体轮廓外部的点，都将其从点云删除；第十步，把点云反投影到每一帧在空间中的相平面，记录相平面上每一像素点在反投影时距离它最近的点云中的点，将图像上该像素点的像素值赋值给这个离他最近的点云中的点，从而完成点云颜色的重映射。