[发明专利]一种视频的时域一致性半透明边缘提取方法

说明书

技术领域

本发明涉及一种视频提取方法，特别是涉及3D立体影视转制技术领域的一种视频的时域一致性半透明边缘提取方法。

背景技术

自2009年《阿凡达3D》上映以来，3D立体影视成为电影制作的主流，但是用立体摄像机直接拍摄3D立体影视的成本高、时间长、立体效果调整难度大，因此如何将2D影视转制成3D立体影视成为3D立体影视制作领域的研究热点。

2D影视转制成3D立体影视的基础技术流程包括：1、镜头分解；2、深度反求；3、立体合成。其中最关键的是深度反求技术，即直接恢复视频图像上每一个像素到摄像机的距离。由于视频图像是一个2D平面，而且影视场景中的物体复杂多变，视频深度的反求是很困难的技术问题。很多研究者提出了机器学习方法恢复单目视频深度，从而实现立体化[K.Karsch,C.Liu and S.B.Kang.Depth Extraction from Video Using Non-parametric Sampling.European Conference on Computer Vision(ECCV),2012.]，该方法虽然有较高的自动化，但得到的3D立体影视的质量无法保证。另外一种基于视频分割的3D立体视频转制方法虽然需要较多的人工交互，但是能够得到更好的立体效果。

基于视频分割的3D立体视频转制流程细化如下：1、镜头分解；2、图层预置；3、图层分割；4、图层深度反求；5、图层立体合成；6、视频立体合成。其中，图层就是视频分割的结果，根据后期制作人员的需求，将视频中的物体分割成独立的图层，然后分别对每一个图层进行立体化。对于边缘比较锐利、明显的物体，简单的分割前景背景就可以做到无缝的立体化，但是在出现毛发、运动模糊等半透明边缘时，简单的分割往往会在图层背景上残留前景，或者前景上残留背景，导致立体效果大打折扣。因此3D立体影视转制必须采用半透明边缘提取方法，将半透明区域的前景和背景彻底分离，才能避免立体视觉上的明显瑕疵。

现有的视频分割方法一般采用半交互半自动的方式，如用户在第一帧交互分割，然后将分割结果传递到下一帧，并根据分割结果继续交互优化。为了得到更好的效果，在最后分割完成之后，现有技术还在分割结果的边缘上计算半透明边缘，如[Xue Bai,Jue Wang,David Simons,and Guillermo Sapiro.Video SnapCut:Robust Video Object Cutout Using Localized Classifiers.ACM SIGGRAPH 2009.]和[Fan Zhong,Xueying Qin,Qunsheng Peng,and Xiangxu Meng:Discontinuity-Aware Video Object Cutout,ACM Transactions on Graphics,2012,VOL.31(6),pp 175:1-175:10]，但是现有技术都没有充分考虑时域上的一致性，而是直接逐帧进行抠图，因此无法保证半透明边缘在时域上的一致性。而如何使半透明边缘求解结果在时域上具有高度的一致性，视觉上不会闪烁，在3D立体影视制作中是至关重要的。目前的视频半透明边缘方法在时域的一致性上做得还不够理想，普遍存在严重的抖动现象，亟待进一步突破。

总而言之，现有的方法无法很好地对毛发等半透明物体进行时域一致性抠图，导致3D立体影视的转制效果很差。因此，需要一种视频的时域一致性半透明边缘提取方法，解决以上问题。

发明内容

为了克服上述现有技术的不足，本发明提供了一种视频的时域一致性半透明边缘提取方法，以在影视2D转3D制作过程中实现时域一致性视频图层分割，并能够提取视频的时域一致性半透明边缘。

本发明采用的技术方案包括：

A)对视频的图像帧进行逐帧半交互式分割，然后进行优化完成视频时域一致性分割；

B)根据视频的时域一致性分割结果，在自适应边缘的图像颜色复杂度的前提下自动膨胀分割边缘生成三色图；

C)利用三色图和视频像素在时域上的光流信息进行时域一致性抠图。

所述的步骤A)具体包括：

a1)对视频的图像帧进行逐帧半交互式分割，生成前景视频图像和背景视频图像；

a2)由以上步骤得到的半交互式分割结果通过优化进行视频时域一致性分割。

所述的步骤a2)中半交互式分割结果通过以下分割目标函数E(α,z)进行优化，完成视频时域一致性分割：