[发明专利]场景的三维重建方法、装置及终端设备

权利要求书

1.一种场景的三维重建方法，其特征在于，包括：

获取场景的彩色图和深度图；

根据第一帧的彩色图提取第一特征点，构建第一特征点集；

根据所述彩色图和所述深度图生成点云图，根据第一帧的点云图提取第一特征平面，构建第一特征平面集，所述第一特征点和第一特征平面组成地图的初始标志物；

从当前帧的彩色图提取第二特征点，构建第二特征点集，以及，从所述点云图中与所述当前帧的彩色图对应的点云提取第二特征平面，构建第二特征平面集；

将所述第二特征点与所述第一特征点匹配，确定所述第二特征点集与所述第一特征点集的匹配关系，将第二特征平面与第一特征平面匹配，确定所述第二特征平面集与所述第一特征平面集的匹配关系；

根据所述第二特征点集与所述第一特征点集的匹配关系、所述第二特征平面集与所述第一特征平面集的匹配关系、以及当前帧与上一个关键帧的间隔帧数判断所述当前帧是否为关键帧；

在所述当前帧为关键帧时，判断所述当前帧的初始相机位姿是否有效；

将有效初始相机位姿的关键帧的第二特征点和第二特征平面投影到世界坐标系上，投影后的第二特征点作为新增的第一特征点加入到所述第一特征点集中，投影后的第二特征平面作为新增的第一特征平面加入到所述第一特征平面集中；

在得到所述彩色图中所有关键帧的第一特征点和第一特征平面后，根据包括所有第一特征点和所有第一特征平面的地图的所有标志物创建地图，实现场景的三维重建。

2.如权利要求1所述的场景的三维重建方法，其特征在于，所述根据所述第二特征点集与所述第一特征点集的匹配关系、所述第二特征平面集与所述第一特征平面集的匹配关系以及当前帧与上一个关键帧的间隔帧数判断所述当前帧是否为关键帧，具体包括：

判断当前帧与上一个关键帧的间隔帧数是否大于预设的间隔帧数阈值；

在当前帧与上一个关键帧的间隔帧数大于预设的间隔帧数阈值时，根据第一特征点集中与第二特征点匹配的第一特征点的个数，和，第一特征平面集中与第二特征平面匹配的第一特征平面的个数，确定一数值，若所述数值超过预设的条件阈值，则判定所述当前帧为关键帧，否则，判定所述当前帧不为关键帧。

3.如权利要求1所述的场景的三维重建方法，其特征在于，所述在所述当前帧为关键帧时，判断为关键帧的当前帧的初始相机位姿是否有效，具体包括：

在所述当前帧为关键帧时，根据所述第二特征点集与所述第一特征点集的匹配关系、所述第二特征平面集与所述第一特征平面集的匹配关系预估所述当前帧的初始相机位姿，所述当前帧的初始相机位姿包括旋转矩阵和平移向量；

将所述当前帧的初始相机位姿与上一个关键帧的初始相机位姿比较，在所述当前帧的旋转矩阵与上一个关键帧的旋转矩阵的改变量小于预设的旋转矩阵阈值，且在所述当前帧的平移向量与上一个关键帧的平移向量的改变量小于预设的平移向量阈值时，判定所述当前帧的初始相机位姿有效，否则，判定所述当前帧的初始相机位姿无效。

4.如权利要求3所述的场景的三维重建方法，其特征在于，在所述当前帧为关键帧时，根据所述第二特征点集与所述第一特征点集的匹配关系、所述第二特征平面集与所述第一特征平面集的匹配关系预估所述当前帧的初始相机位姿，具体包括：

假设其中，Po和Pl分别表示第一特征点集，第一特征平面集，Po'和Pl'分别表示当前帧上第二特征点集和第二特征平面集；

在所述当前帧为关键帧时，根据所述第二特征点集与所述第一特征点集的匹配关系、所述第二特征平面集与所述第一特征平面集的匹配关系确定下式：

其中，R_k表示旋转矩阵，t_k表示平移向量，n_j表示Pl中第j个第一特征平面的法向量，n'_j表示Pl'中第j个第二特征平面的法向量，w_j表示Pl中第j个平面的权重，“|| ||²”表示2-范数运算；对上式进行优化求解预估为关键帧的当前帧的初始相机位姿。