[发明专利]一种基于图像的三维重建的方法及系统

说明书

本发明公开了一种基于图像的交互式三维重建方法，包括：摄像头获取多帧图像，并将所述多帧图像发送至处理器；该处理器对接收到的多帧图像进行判定，从中筛选出多个关键帧；该处理器对筛选出的多个关键帧进行增量分析，并同时进行闭环检测；该处理器对增量分析及闭环检测的结果进行模型一致性判定，并在模型不一致时给出交互提示；该处理器提供多种交互界面(3D‑3D对齐、3D‑2D对齐、2D‑2D匹配)，方便用户进行关键信息输入；该处理器将用户输入的关键信息与增量分析、闭环检测的结果进行融合，完成三维重建。本方法将自动处理算法与用户交互适当结合，提高重建结果的准确性。

技术领域

本发明属于信息技术领域，具体地，涉及一种基于图像的交互式三维重建的方法及系统。

背景技术

基于图像的三维重建(Image-based 3D Reconstruction)是计算机视觉研究领域的一个重要分支，在三维地图测绘、增强现实、虚拟现实、游戏、医疗、动画制作、计算机辅助设计等领域有广阔的应用前景。该技术基于视差原理，通过对不同角度拍摄的照片进行分析，再使用光束平差法计算得到被摄物体的三维信息，进而构建出与被摄物体空间结构一致的三维模型。

但是，目前基于图像的三维重建技术还不够成熟，全自动的三维重建实现起来还有很多困难，因而该技术与实际应用仍有较大的距离。具体而言，当下的自动重建算法会在以下几个方面遇到问题：

1.连续帧之间的匹配关系出错：在特定的场景中，现有的特征跟踪算法可能会匹配上一部分错误的特征点，虽然后期可以使用交叉验证算法找出一些有问题的匹配，但目前的算法还无法100％剔除，这些错误的匹配关系会对重建结果造成负面影响。

2.闭环匹配关系出错：闭环检测一直是三维重建研究中的关键问题，在学术界的推动下，相关算法的性能逐渐提高，但目前最好的算法在实用中也还存在很多问题。

3.大场景不同区域的融合问题：对于比较大的场景，重建工作会分成多个区域进行，而不同区域之间的相关信息可能十分很少，导致几乎不可能进行全自动的多区域融合。

发明内容

本发明提供了一种基于图像的交互式三维重建方法及系统，通过在自动化的重建过程中给出适当地交互提示，让用户可以方便地录入一些对三维重建有帮助的关键信息，在这些信息的辅助下，本发明让基于图像的三维重建技术更具实用性。为了解决上文列出的问题，本发明在交互方面进行了如下创新：

1.操作人员可在特征跟踪过程中手动剔除一些有问题的匹配关系；

2.在算法检测到闭环时，操作人员可介入对匹配结果进行裁定与修正；

3.跨区域匹配时，操作人员可手动进行关键特征点的匹配操作，为算法提供可靠的基础信息。

同时，由于在交互重建的过程中，操作人员可以实时看到重建进程，因此可以针对性地对采样密度进行调整，如遇到比较复杂的区域，可适当提高采样密度以得到更好的重建结果。

为了实现上述目的，本发明提供了一种基于图像的交互式三维重建方法，包括：

所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧；

所述处理器对所述多个关键帧进行增量分析，并同时对所述多个关键帧进行闭环检测；

所述处理器对所述闭环检测的结果进行模型一致性判定，在模型不一致时给出交互提示；

所述处理器提供多种交互界面，以接收用户的关键信息输入；

所述处理器将所述用户输入的关键信息与所述增量重建、所述闭环检测的结果进行融合，完成三维重建。