[发明专利]基于人机交互生成视频深度图序列的方法及系统

说明书

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种基于人机交互生成视频深度图序列的方法及系统。

背景技术

立体视频能够给人们带来更真实的视觉体验，被越来越广泛地应用在家庭娱乐、影视制作、虚拟现实等诸多领域。虽然我们可以借助立体摄像机来直接拍摄新的立体视频，但对于现有的众多平面视频资源，无法都通过重新拍摄来获取其相应的立体版本。在这种情况下，将平面视频转为立体视频就成为立体内容生成的一个极其重要的途径。

其中，深度图的获取是平面视频转立体视频中必不可少的部分，而深度图的质量也直接决定了观众所能感受到的立体效果。

目前，有许多种不需要用户干预，由计算机自动生成视频深度图序列的方法，这些方法存在的问题是，由于没有任何先验信息，很难直接从原视频帧序列中提取出相应的深度线索并生成正确的深度图。针对上述问题，也有人提出了一些需要用户干预的半自动的深度图生成方法，这些方法通常能够生成更高质量的视频深度图序列，和完全通过图像编辑软件逐帧制作深度图的方法相比也提高了不少效率，但它们所带来的额外的用户操作依然很多、很繁琐。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为此，本发明的一个目的在于提出一种基于人机交互生成视频深度图序列的方法，该方法既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作，所有的用户操作简单而高效。

本发明的另一个目的在于提出一种基于人机交互生成视频深度图序列的系统，该系统既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作，所有的用户操作简单而高效。

根据本发明的一方面，提出了一种基于人机交互生成视频深度图序列的方法，包括以下步骤：A1：从视频帧序列中提取出关键帧和非关键帧；A2：对所述视频帧序列的每一帧进行图像过分割以获得多个过分割块；A3：设置所述关键帧中的部分过分割块的深度值；A4：根据所述部分过分割块的深度值获取所述关键帧的其余过分割块的深度值，从而获得所述关键帧的深度图；A5：根据所述关键帧和所述关键帧对应的深度图获取所述非关键帧的深度图；以及A6：对所述关键帧的深度图和所述非关键帧的深度图进行后处理，以获得最终的视频深度图序列。

根据本发明实施例的基于人机交互生成视频深度图序列的方法，通过用户对关键帧的检测结果进行修正，并为关键帧中的部分过分割块指定深度值，再借助深度扩散算法及机器学习算法获得关键帧及非关键帧的深度图，能够同时满足精度和效率上的要求，较好地完成将平面视频转为立体视频的任务。

本发明另一方面还提供一种基于人机交互生成视频深度图序列的系统，包括：检测模块，用于从平面视频帧序列中检测出镜头变化帧以作为关键帧，其中所述镜头变化帧包括镜头切变帧和镜头渐变帧；过分割模块，用于对所述视频帧序列的每一帧进行图像过分割；人机交互模块，用于提供用户操作界面以便用户对所述检测模块的检测结果进行修正，并对所述关键帧对应的部分过分割块设置深度值；关键帧深度图生成模块，用于根据所述关键帧对应的部分过分割块的深度值生成关键帧的深度图；非关键帧深度图生成模块，用于根据所述关键帧的深度图，通过机器学习算法生成非关键帧的深度图；以及后处理模块，用于对所述关键帧和非关键帧的深度图进行后处理，得到最终的视频深度图序列。

根据本发明实施例的基于人机交互生成视频深度图序列的系统，既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作，所有的用户操作简单而高效。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一个实施例的基于人机交互生成视频深度图序列的方法的流程示意图；

图2为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤101的流程图；

图3为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤102的流程图；

图4为本发明一个实施例的用户为关键帧中部分过分割块指定深度值的示意图；

图5为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤104的流程图；

图6为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤105的流程图；以及

图7为本发明一个实施例的基于人机交互生成视频深度图序列的系统的示意图。