[发明专利]具备多RGBD相机的成像系统的三维拼接方法及装置

说明书

本发明提供一种具备多RGBD相机的成像系统的三维拼接方法，包括基于至少两个RGBD相机中的二维图像得到图像曲面信息；对图像曲面信息进行二维图像的特征点配准；基于预先标定的二维图像与三维图像的关系，进行拼接。本发明将三维拼接问题转化为二维图像匹配问题，根据二维图像匹配实现三维对应点的查找，并利用视角间的对应特征点实现三维数据拼接。且本发明先基于预先的标定，对二维配准后的结果进行第一次拼接，再采用迭代算法进行二次拼接提高其拼接精度，提高其多RGBD相机的成像系统的成像精度。相应地，本发明还提供一种装置及存储介质。

技术领域

本发明涉及成像技术领域，具体涉及具备多RGBD相机的成像系统的三维拼接方法及装置。

背景技术

现有技术中的三维拼接的方法很多，总体上可大致分为二类，第一类是基于辅助硬件的拼接，利用硬件的精确定位实现拼接，包括基于惯性制导单元等等，这类方法需要使用辅助硬件；第二类是基于图像特征拼接，仅利用三维数据实现三维拼接，此类方法不依靠硬件等辅助信息，应用更加灵活。现有技术中利用三维测量数据实现三维拼接，需要较好的初始拼接位置，因此，传统的三维拼接方法适应性差。

发明内容

针对现有技术的不足之处，本发明的目的在于提供一种具备多RGBD相机的成像系统的三维拼接方法及装置。

本发明的技术方案概述如下：

一方面，本发明提供一种具备多RGBD相机的成像系统的三维拼接方法，包括：

基于至少两个RGBD相机中的二维图像得到图像曲面信息；

对所述图像曲面信息进行二维图像的特征点配准；

基于预先标定的二维图像与三维图像的关系，进行拼接。

进一步地，所述拼接包括第一次拼接和第二次拼接；

所述第一次拼接包括：基于预先标定的二维图像与三维图像的关系，利用二维图像的特征点配准进行第一次拼接；

所述第二次拼接包括：对第一次拼接的优化。

进一步地，所述对所述图像曲面信息进行二维图像的特征点配准，还包括：

对原图像的图像曲面信息进行尺度不变性特征点检测、描述，得到原图像的特征点集；

对目标图像的图像曲面信息进行尺寸不变性特征点检测、描述，得到目标的特征点集；

对所述原图像的特征点集和目标图像的特征点集进行匹配。

进一步地，通过计算两组特征点集的关键点的欧式距离实现特征点集的匹配。

进一步地，所述第一次拼接包括：

获取对应于二维匹配点的三维数据集，并计算两个三维数据集的质心；其中，三维数据集的数量至少为两个；

基于协方差矩阵得到对称矩阵，并计算对称矩阵的特征值和特征向量，将最大特征值对应的特征向量为旋转向量，以此得到旋转矩阵；

基于旋转矩阵得到平移向量，并计算旋转矩阵和平移矩阵组成的两个视角三维数据的拼接关系，进行至少两个视角的拼接。

进一步地，所述第二次拼接包括：

利用ICP算法对第一拼接进行迭代优化。

相应地，本发明还提供了一种具备多RGBD相机的成像系统的三维拼接装置，包括：

获取模块，用于基于至少两个RGBD相机中的二维图像得到图像曲面信息；

配准模块，用于对所述图像曲面信息进行二维图像的特征点配准；