[发明专利]一种时空连续的视频背景修复方法

摘要

本发明公开了一种时空连续的视频背景修复技术；本发明首先通过由粗到精的运动场传播方法，估计视频内空洞部分的运动场，使整体运动场自然连贯；此后，以运动场为引导，本发明通过基于马尔科夫随机场的优化过程填充空洞部分，最优地将临近帧内的已知像素排列到缺失部分内；最后，基于光照迁移思想，本发明提出了一种光照调整方法，将空洞外的光照条件有效传播到内部，消除修复后空洞内的光照不连续现象；与现有的视频修复方法相比，本发明能够更好地修复深度严重不连续的视频背景，对摄像机运动的限制更少，并在光照变化明显的情况下保证结果的光照一致性。

主权项

一种时空连续的视频背景修复方法，其特征在于，包括下述步骤：步骤1，由用户指定输入视频V中需要去除的前景物体Ω，当去除的前景物体Ω从其他前景物体Ω×后侧运动时，还需要用户交互式标记出Ω×；步骤2，令Φ＝V‑Ω‑Ω×，Φ表示视频V中可用于修复缺失部分的已知部分，计算Φ的正反双向运动场；步骤3，构建运动场的时空金字塔，在最底层上，通过最小化以下能量方程，计算缺失部分双向运动场的初始值：ΣQ⋐Ω∩∂ΩminP⋐ΦD(P,Q)]]>其中，P和Q表示时空域的像素立方体，Q为目标立方体，包含至少一个未知像素，位于Ω及其边界附近区域P为源立方体，不含未知像素；D(P,Q)表示运动场内像素立方体之间的距离；步骤4，将时空金字塔最底层的缺失部分双向运动场的初始值传播到上层，从第二层开始，通过最小化以下能量方程，计算缺失部分双向运动场的精细值：β1NΩΣP⋐ΩminQ⋐Φ′D(P,Q)+(1-β)1NΦ′ΣQ⋐Φ′minP⋐ΩD(Q,P)]]>Φ'表示空洞Ω周围的已知区域，NΦ'和NΩ表示Φ'和Ω区域内像素立方体的总数，β为前后两项的权重控制参数，D(P,Q)与D(Q,P)均为运动场像素立方体间的距离；步骤5，在步骤2至4计算出的完整双向运动场的引导下，逐一利用临近帧修复当前帧，得到当前帧的若干局部解；步骤6，对于当前帧ft内任一缺失像素p，从步骤5得到的局部解集合中选择候选点{p1,p2,...,pn}，然后进行基于马尔科夫随机场的优化，得到全局解，该过程通过以下能量方程最小化：∑pEp(L(p))+α∑p,qEp,q(L(p),L(q))其中函数L(p)和L(q)是像素p和q到它最终选择的候选点序号的映射，q为p的四邻域点，α为前后两项权重的控制参数，Ep(L(p))为数据项，衡量利用pL(p)修复像素p的能量代价；Ep,q(L(p),L(q))为连续项，衡量利用pL(p)和pL(q)修复相邻像素p，q的能量代价；步骤7，重复执行步骤5、步骤6的修复过程次；步骤8，从步骤7修复之后的视频中，每隔￠帧选出一个关键帧；调整关键帧修复区域的光照；步骤9，将关键帧光照调整结果传播到非关键帧，完成整个视频的光照调节。