[发明专利]将2D视频转换为立体视频

权利要求书

1.一种用于将二维(2D)视频转换为多视角视频的计算机实现的用户引导的过程，包括使用计算机来执行以下过程动作：

输入所述2D视频(106)，其中所述2D视频包括帧序列；

分割输入的帧(110)来生成时间一致的经分割的2D视频(132)，所述时间一致的经分割的2D视频包括经分割的帧，所述经分割的帧中的各个经分割的帧包括多个分段，所述多个分段中的各个分段包括一个或多个像素；以及

生成所述多视角视频(102/104)，所述生成包括使用用户引导的操作来生成对与经分割的帧的用户指派的区域相关联的分段的深度指派，其中用户指派的区域是从由用户选择的一组毗连分段中形成的。

2.如权利要求1所述的过程，其特征在于，所述多视角视频是包括从用户选择的视点呈现的左视角和右视角的立体视频，进一步包括以下动作：

呈现所述立体视频；以及

存储或显示所呈现的立体视频。

3.如权利要求2所述的过程，其特征在于：

分割输入的帧的过程动作包括使用一致分段方法，所述一致分段方法利用小到足以最小化各个经分割的帧内具有属于两个不同对象的像素的分段的分段大小；并且其中

所述一致分割方法产生时间一致的分割，其中跨一个或多个经分割的帧的对应的分段具有类似形状和颜色并且分段边界跨一个或多个经分割的帧是类似的。

4.如权利要求2所述的过程，其特征在于，生成多视角视频的过程动作包括用户选择形成经分割的帧的子序列的特定的经分割的帧内的一个或多个感兴趣的区域，所述区域选择包括以下动作：

(a)将所述子序列内的第一经分割的帧设为当前帧；

(b)用户通过粗略地标记感兴趣区域的内部来选择当前帧内形成一个或多个感兴趣的区域的一个或多个分段组；

(c)生成所选择的分段组周围的边界框；

(d)通过自动地选择所述子序列内后续经分割的帧内对应的分段来在经分割的帧的所述子序列内向前传播所选择的分段组；

(e)利用所选择的分段组来生成所述当前帧的迭代图切分割；

(f)为所选择的分段组构造前景颜色模型；

(g)为驻留在所述边界框内的未被选择的分段构造背景颜色模型；

(h)使用迭代图切方法来优化所述当前帧的分割，其中所选择的分段组被限制为前景，在所述边界框外部的分段被限制为背景，并且图切的迭代持续直到收敛；以及

(i)只要所述当前帧不是所述子序列内的最后的经分割的帧，

将所选择的分段组和边界框向前传播到所述子序列内下一经分割的帧，其中如果特定分段不适合所述前景和背景颜色模型，则阻止传播这些特定分段，

将所述子序列内的下一经分割的帧设为当前帧；以及

重复动作(b)-(i)。

5.如权利要求4所述的过程，其特征在于，生成多视角视频的过程动作进一步包括初始化经分割的帧的分段深度的动作，并且其中用户选择特定的经分割的帧内的一个或多个感兴趣的区域的过程动作进一步包括用户执行拖动操作来细化当前帧内所选择的分段组的初始化分段深度的动作。

6.如权利要求4所述的过程，其特征在于：

所述2D视频包括一个或多个场景，所述一个或多个场景中的各个场景包括帧的子序列，以及

分割输入的帧的过程动作包括对输入的帧执行从运动到结构(SFM)处理以恢复用移动相机拍摄的特定场景中的帧的特征点集和相机参数，各个特征点指定三维位置、颜色、以及指定在其中所述特征点可见的特定帧的一列对应关系。

7.如权利要求6所述的过程，其特征在于，用户选择特定的经分割的帧内的一个或多个感兴趣的区域的过程步骤进一步包括以下动作：

所述用户选择所述当前帧内形成一个或多个动态区域的一个或多个分段组，所述一个或多个动态区域中的各个动态区域包括一个或多个移动对象；

所述用户对所述所选择的分段组进行掩码；以及

所述用户删除与所述经掩码的分段组相关联的特征点。