[发明专利]一种基于拍摄设备阵列的动态场景深度恢复方法

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于拍摄设备阵列的动态场景深度恢复方法。

背景技术

摄像机阵列是由一组摄像机，即多个摄像机)按一定方式排列而成，如线性排列、平面排列或环形排列等。以此为基础开展的工作，通常需要先对各相机进行几何标定(calibration)和颜色校准(color calibration)。通过几何标定，可获得各相机的内参矩阵K，外参矩阵。外参矩阵包括旋转矩阵R和平移向量T。通过颜色校准，可使得采集的样本颜色与目标颜色尽可能的接近。

立体匹配作为计算机视觉中的一个基础问题，数十年来都是研究的热点。它的研究内容即为如何求取高质量的深度图，是3D建模、视频编辑、虚拟视角生等众多应用的基础。传统的深度恢复算法包括基于窗口的局部方法，以及对全局能量函数进行优化的全局方法，如BP(置信传播)和Graph-Cuts(图分割)。另外，立体匹配中存在一些典型问题，如场景中的遮挡，传统算法主要通过初始深度图进行遮挡检测或者直接在全局能量函数中加入遮挡约束，与深度变量一起求解；另外，低纹理区域的深度估计也是一个难点，主要方法是引入分割，假设每个分割区域内的深度一致或者过渡平滑，从而减少区域内像素级别的误匹配。

近些年来，立体匹配从双目匹配逐渐发展到多目匹配，即视频来源从两台固定相机增加到固定摄像机阵列。对于静态场景，通过结合多视角的场景信息，能够更加准确的恢复具有空间一致性的深度图。但对于动态场景，如果每个时刻分别求取深度图，则未能利用场景在时间上的相关性，从而即使是同一相机的深度图也会存在抖动，误差无法得到纠正。传统的方案是首先进行前后帧运动估计，然后为对应点增加深度平滑约束。

但是，现有的动态深度恢复算法存在以下问题：

1)空间一致约束和时间一致约束形式不统一，时空优化的效果仍有待改进；

2)当运动估计错误时，会对时间一致约束带来负面影响；

3)部分算法仅对固定相机适用，当相机运动时则只能各个时刻分别求解。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别针对加强深度恢复时的时空一致约束，纠正单时刻深度图中的误差并提高深度图的稳定性，同时当摄像机阵列运动时也能进行深度求解，提出了一种基于拍摄设备阵列的动态场景深度恢复方法。

为达到上述目的，本发明实施例提出一种基于拍摄设备阵列的动态场景深度恢复方法，包括如下步骤：

进行视差图初始化以获得t时刻所有视角的初始视差图；

对所述t时刻所有视角的初始视差图进行空间一致优化以得到所述t时刻所有视角的空间一致的视差图；和

进行时空一致优化以恢复动态场景的视差图。

本发明实施例提供的基于拍摄设备阵列的动态场景深度恢复方法，通过形式统一的空间一致约束和时空一致约束，能有效的保证各相机深度图序列的稳定性，同时利用多时刻深度信息进行单时刻误差的纠正。并且，即使运动估计错误，能量函数也能通过空间一致进行优化，从而至少能保证单时刻求取的结果。此外，算法框架只需提供各时刻各视角的相机参数，所以即使相机前后时刻发生运动，本算法仍然有效。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的动态场景深度恢复方法的流程框图；

图2为根据本发明实施例的动态场景深度恢复方法的流程图；

图3为图1中的空间一致约束示意图；

图4为图1中的时空一致约束示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明主要在于通过形式统一的空间一致约束和时空一致约束，能有效的保证各相机深度图序列的稳定性，同时利用多时刻深度信息进行单时刻误差的纠正。

为实现上述目的，本发明实施例一方面提出了一种基于拍摄设备阵列的动态场景深度恢复方法。图1示出了上述动态场景深度恢复方法的流程框图。如图1所示，该方法包括如下步骤：

S101：计算所有视角的初始视差图。