[发明专利]一种基于图像的三维重建的方法及系统

权利要求书

1.一种基于图像的交互式三维重建方法，其特征在于，包括：

摄像头获取多帧图像，并将所述多帧图像发送至处理器；

所述处理器对接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧；

所述处理器对所述多个关键帧进行增量分析，并同时对所述多个关键帧进行闭环检测；

所述处理器对所述闭环检测的结果进行模型一致性判定，并在模型不一致时给出交互提示；

所述处理器提供多种交互界面，以接收用户的关键信息输入；

所述处理器将所述用户输入的关键信息与增量重建、所述闭环检测的结果进行融合，完成三维重建。

2.根据权利要求1所述的三维重建方法，其特征在于，所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧，包括：

所述处理器对所述接收到的多帧图像的清晰程度进行评估，丢弃清晰程度低于预设阈值的图像帧；

所述处理器对相邻图像帧的相似度进行评估，丢弃相似度高于预设阈值的图像帧。

3.根据权利要求1所述的三维重建方法，其特征在于，所述处理器对所述多个关键帧进行增量分析，包括：

构建一个或多个场景区块；

将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系；

利用几何约束对所述特征匹配关系进行筛选，去除不满足所述几何约束的匹配，若剩余的有效匹配数量大于或等于预设阈值，则使用光束平差法计算所述当前关键帧相对于所述前一帧关键帧的相对空间位置关系，并将所述当前关键帧与所述前一帧关键帧放入同一个所述场景区块中；

当所述有效匹配数量小于所述预设阈值，则将所述当前关键帧放入新的所述场景区块中。

4.根据权利要求3所述的方法，其特征在于，将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系，包括：

将所述当前关键帧与所述前一帧关键帧分别提取出多个局部特征，所述局部特征包括描述向量及与所述描述向量对应的位置坐标；

将所述当前关键帧的所有局部特征分别与所述前一帧关键帧的所有局部特征进行特征匹配，若任一所述当前关键帧中局部特征的描述向量与任一所述前一帧关键帧中局部特征的描述向量相似度高于预设阈值，则两个所述局部特征视为一组匹配关系。

5.根据权利要求1所述的方法，其特征在于，所述处理器对所述关键帧进行闭环检测，包括：

对每一个关键帧提取出对应的全局特征向量；

将每一关键帧的全局特征向量在该帧之前所有关键帧的全局特征向量数据库中进行近邻检索；

若所述近邻检索过程发现与当前的全局特征向量相似度高于预设阈值的相似关键帧，则认为检测到闭环。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述闭环检测寻找到的相似关键帧与当前关键帧不属于同一场景区块，则给出交互提示；

若属于同一场景区块，则使用光束平差法计算两个关键帧的相对空间位置关系，并与所述增量分析的结果进行比对，如果差异小于或等于预设阈值认为此闭环有效；如果差异大于预设阈值，则给出交互提示。

7.根据权利要求6所述的方法，其特征在于，在给出交互提示之后，所述方法还包括：

根据用户输入指令，对所述闭环检测结果进行判定；

若所述用户输入指令为确定，则认为所述闭环有效；

若所述用户输入指令为否定，则认为所述闭环无效并丢弃。