[发明专利]一种时空连续的视频背景修复方法

说明书

技术领域

本发明属图像处理技术领域，尤其涉及一种时空连续的视频背景修复方法。

背景技术

随着视频拍摄设备的普及,网络和终端上的视频数据大幅增加。然而受客观环境的影响，很多视频中存在冗余的物体，影响了主题的表达和背景的完整。去除不必要的物体并修复相应背景区域，往往能够改善视频的观赏体验。例如，普通用户拍摄的影片中有时存在不必要的路人，可采用修复技术进行去除。此外，背景修复技术可以扩展原始视频的应用领域，比如，在三维街景地图项目中，利用背景修复可以去除摄影车拍摄的街道视频内不必要的行人和车辆，从而更好地重建出街道建筑物。

对复杂运动的摄像机所拍摄视频进行背景修复是困难的。首先由于相机的旋转运动，不同帧之间背景的存在投影变换，修复过程必须弥补这种视角上的差异。其次，背景内的一些区域深度变化不连续严重，导致简单的方法难以准确描述其运动。最后，室外拍摄环境下，当摄像机旋转时，视频的修复结果中常存在光照不连续，需要进行调节。针对视频内缺失的数据部分，人们已经提出了多种修复方法。但是其中相当一部分方法仅适用于摄像机静止或者与场景平行运动的情况。其余的方法虽然可用于复杂运动的摄像机所拍视频，但是大多利用单应关系，仅适用于场景构成简单的情况。为了满足实际需求，当前迫切需要一种适用范围广，效果显著的视频背景修复方法。

发明内容

本发明为了解决上述的技术问题，提出了运动场引导的视频背景修复方法。本发明的技术方案是：一种时空连续的视频背景修复方法，其特征在于，包括下述步骤：

步骤1，由用户指定输入视频V中需要去除的前景物体Ω，当去除的前景物体Ω从其他前景物体Ω_×后侧运动时，还需要用户交互式标记出Ω_×；

步骤2，令Φ＝V-Ω-Ω_×，Φ表示视频V中可用于修复缺失部分的已知部分，计算Φ的正反双向运动场；

步骤3，构建运动场的时空金字塔，在最底层上，通过最小化以下能量方程，计算缺失部分双向运动场的初始值：

其中，P和Q表示时空域的像素立方体，Q为目标立方体，包含至少一个未知像素，位于Ω及其边界附近区域内，P为源立方体，不含未知像素；D(P,Q)表示运动场内像素立方体之间的距离；

步骤4，将时空金字塔最底层的缺失部分双向运动场的初始值传播到上层，从第二层开始，通过最小化以下能量方程，计算缺失部分双向运动场的精细值：

Φ'表示空洞Ω周围的已知区域，N_Φ'和N_Ω表示Φ'和Ω区域内像素立方体的总数，β为前后两项的权重控制参数，D(P,Q)与D(Q,P)均为运动场像素立方体间的距离；

步骤5，在步骤2至4计算出的完整双向运动场的引导下，逐一利用临近帧修复当前帧，得到当前帧的若干局部解；

步骤6，对于当前帧f_t内任一缺失像素p，从步骤5得到的局部解集合中选择候选点{p¹,p²,...,pⁿ}，然后进行基于马尔科夫随机场的优化，得到全局解，该过程通过以下能量方程最小化：

Σ_pE_p(L(p))+αΣ_p,qE_p,q(L(p),L(q))

其中函数L(p)和L(q)是像素p和q到它最终选择的候选点序号的映射，q为p的四邻域点，α为前后两项权重的控制参数，E_p(L(p))为数据项，衡量利用p^L(p)修复像素p的能量代价。E_p,q(L(p),L(q))为连续项，衡量利用p^L(p)和p^L(q)修复相邻像素p，q的能量代价；

步骤7，重复执行步骤5、步骤6的修复过程次；

步骤8，从步骤7修复之后的视频中，每隔￠帧选出一个关键帧；调整关键帧修复区域的光照；

步骤9，将关键帧光照调整结果传播到非关键帧，完成整个视频的光照调节。

优选的，所述的步骤3中还包括如下步骤：

步骤3.1，构建原始视频运动场的时空金字塔；

步骤3.2，从最底层开始首次修复，逐个为目标立方体Q匹配最近邻P，当目标像素块内已知像素个数比例超过60％时对其进行匹配，否则在此次循环中跳过，匹配时只考虑立方体内已知像素之间的差异并求和；运动场内像素立方体之间的距离采用如下度量：