[发明专利]一种基于多视图立体匹配的实时三维重建方法

说明书

本发明涉及一种基于多视图立体匹配的实时三维重建方法，属于三维重建领域。该方法首先基于实时拍摄的单目RGB图像，通过采用半直接法的视觉里程计进行关键帧的选取以及相应相机位姿的估计，形成数据流输入到改进后的基于深度学习的多视图立体匹配网络；多视图立体匹配网络首先利用金字塔结构的深度特征网络提取关键帧的深度特征，将深度特征在不同的深度假设上作单应性变换得到代价空间，之后将代价空间正则化得到概率空间，计算期望后得到深度图；最后，将每一帧的深度图进行TSDF融合后得到三维模型。该方法能够针对某一场景快速的构建其三维模型，且仅使用单目RGB图像。

技术领域

本发明属于三维重建领域，涉及一种基于多视图立体匹配的实时三维重建方法。

背景技术

图像三维模型能够直观的反应场景或物体的结构，通过模型的三维数据，可以产生任意视角的图像，且能保证正确的投影关系。在建筑领域中，三维模型可缩短设计单位的测量成本，提高经济效益；在医疗领域中，三维模型可以精确的找到患者的病变部位；在娱乐产业中，三维模型可以给消费者带来更加真实的体验。然而三维模型的绘制需要大量的成本。

三维重建是计算机视觉中的一个重要研究领域，其技术是通过二维图像以恢复真实场景的三维结构及纹理信息，通常应用于数字孪生、智慧城市、智能制造等。借助三维重建技术，人们可以在虚拟空间中表达客观世界，并利用计算机进行可视化，从而对现实世界进行分析和管理。

传统的三维重建方法主要利用光度一致性计算场景的三维信息，但传统方法仅在理想的完全漫反射条件下，才能达到较高的重建精度和完整度；而基于深度学习的三维重建方法通过多视图立体匹配网络，使用2D卷积网络提取图像的深度特征，并利用单应性变换构建代价体，然后通过代价体正则化消除遮挡、非完全漫反射条件所产生的噪声，最终利用深度图点云融合得到点云模型。但是基于深度学习的三维重建方法对输入要求严格，需要RGB图像以及精确的相机位姿。传统获取相机位姿的方法主要是利用三维重建(Structure From Motion，SFM)算法将无序的RGB图像进行匹配，并通过优化匹配估计相机的位姿，然而由于上述方式要求系统运行能力非常强大，运算速度非常流畅，实际中都是离线进行而非在线进行的，因此无法对实时视频流进行在线三维重建处理；除此以外，在重建三维模型时，由于深度信息刻画不够准确，导致重建精度不够。

发明内容

基于上述问题，本发明提出一种基于多视图立体匹配的实时三维重建方法，该方法通过采用半直接法的视觉里程计对实时图像流进行处理，筛选关键帧并计算相机位姿，其结果作为基于深度学习的多视图立体匹配网络的输入，得到每一帧关键帧对应的深度图，最后通过TSDF融合得到三维体素模型。基于半直接法的视觉里程计由于无需计算特征点描述子，能够加快系统的运行速度；基于深度学习的多视图立体匹配网络通过丰富的先验信息，能过够消除遮挡、非完全漫反射条件所产生的噪声，得到精度和完整度更高的深度信息；TSDF融合通过基于截断的带符号距离函数，利用实时输入的深度信息对三维模型进行实时更新。

为达到上述目的，本发明提供如下技术方案：

S1：获取单目相机实时拍摄的RGB图像，生成图像流；

S2：采用基于半直接法的视觉里程计算法对图像流进行处理，筛选关键帧并估计对应的相机位姿；

S3：将关键帧及其对应相机位姿输入到基于深度学习的多视图立体匹配网络，利用自适应代价聚合方法最终得到各关键帧对应的深度图；

S4：将深度图进行基于截断地带符号距离函数(Truncated Signed DistanceFunction，TSDF)融合得到三维体素模型。

本发明的有益效果在于：

1)本发明的三维重建方法将基于半直接法的视觉里程计引入到对三维重建图像的预处理中，使整个重建过程具有实时效果；