[发明专利]场景的三维重建方法、装置及终端设备

说明书

场景的三维重建方法、装置及终端设备，包括：构建第一特征点集和第一特征平面集，第一特征点和第一特征平面组成地图的初始标志物；从当前帧的彩色图构建第二特征点集，从点云图中对应的点云构建第二特征平面集；确定第二特征点集与第一特征点集的匹配关系和第二特征平面集与第一特征平面集的匹配关系；根据确定的匹配关系以及当前帧与上一个关键帧的间隔帧数判断当前帧是否为关键帧；若是，判断当前帧的初始相机位姿是否有效；将有效初始相机位姿的关键帧的第二特征点和第二特征平面投影到世界坐标系上，得到新增的第一特征点和第一特征平面；根据地图的所有标志物创建地图，实现场景的三维重建。通过上述方法，使得重建的场景更准确。

技术领域

本发明属于三维场景重建技术领域，尤其涉及场景的三维重建方法、装置及终端设备。

背景技术

由于场景的三维重建方法有助于很多实际应用，比如虚拟现实和增强现实，机器人的定位和路径规划，以及自动引导运输车的室内工作等等，因此受到研究人员越来越多的关注。利用RGB-D相机进行三维重建相比于双目相机具有独特的优势，因为RGB-D相机能够提供图像像素坐标对应的深度值，不用花费大量计算资源用于像素视差的计算。传统的基于RGB-D相机的三维重建方法主要是利用特征点进行特征的检测与匹配。

一般来说，基于RGB-D相机的三维重建主要是根据相机在多个角度观察到的场景，利用特征的空间位置关系计算相机的相机位姿从而恢复场景的三维信息。基于RGB-D相机的三维重建算法主要分为以下几个步骤：第一，从获取的图像中进行特征点的检测和提取，并且利用对应的深度图获取相应特征点的空间坐标。第二，获取的每帧都进行特征点的检测和提取，并将检测到的特征点与地图上的点进行特征的匹配，计算当前相机的相机位姿。第三，将当前的关键帧上的特征点投影到世界坐标系上，对重建的地图进行增量的扩充。最后，输出完整的重建地图。

广泛的研究表明大部分基于特征点进行特征检测和匹配的三维重建算法在低纹理和纹理重复性很强的场景内很难检测到足够准确的特征匹配关系，因而很难得到一个准确的相机位姿。

发明内容

有鉴于此，本发明实施例提供了场景的三维重建方法、装置及终端设备，以解决现有技术在低纹理和纹理重复性很强的场景内很难检测到足够准确的特征匹配关系，因而很难得到一个准确的相机位姿，从而导致场景难以准确重建的问题。

本发明实施例的第一方面提供了一种场景的三维重建方法，包括：

获取场景的彩色图和深度图；

根据第一帧的彩色图提取第一特征点，构建第一特征点集；

根据所述彩色图和所述深度图生成点云图，根据第一帧的点云图提取第一特征平面，构建第一特征平面集，所述第一特征点和第一特征平面组成地图的初始标志物；

从当前帧的彩色图提取第二特征点，构建第二特征点集，以及，从所述点云图中与所述当前帧的彩色图对应的点云提取第二特征平面，构建第二特征平面集；

将所述第二特征点与所述第一特征点匹配，确定所述第二特征点集与所述第一特征点集的匹配关系，将第二特征平面与第一特征平面匹配，确定所述第二特征平面集与所述第一特征平面集的匹配关系；

根据所述第二特征点集与所述第一特征点集的匹配关系、所述第二特征平面集与所述第一特征平面集的匹配关系、以及当前帧与上一个关键帧的间隔帧数判断所述当前帧是否为关键帧；

在所述当前帧为关键帧时，判断所述当前帧的初始相机位姿是否有效；

将有效初始相机位姿的关键帧的第二特征点和第二特征平面投影到世界坐标系上，投影后的第二特征点作为新增的第一特征点加入到所述第一特征点集中，投影后的第二特征平面作为新增的第一特征平面加入到所述第一特征平面集中；