[发明专利]一种全自动2D转3D技术中的实时镜头检测方法和装置

说明书

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种全自动2D转3D技术中的实时镜头检测方法和装置。

背景技术

视频中的一个镜头是指用同一摄像机进行连续不间断拍摄、表示时间和空间上的一个连续动作的帧序列。从上下文语义内容上讲，镜头是视频序列内容的基本单元。对于实时的全自动2D转3D系统而言，一种常见的流程是将其分为镜头检测、深度计算和DIBR渲染三个步骤。其中，镜头检测要求能够同时检测出视频中发生镜头突变和镜头渐变的边界；深度计算则是在镜头检测的基础上，针对同一镜头内的相邻图像帧，通过块匹配算法及双边滤波的处理，得到近似的深度图；而DIBR渲染则是指利用深度图所提供的场景的深度信息，根据原图生成该场景在其他虚拟视角上的图像，最终合成相应的立体图。

因此，镜头检测是全自动2D转3D系统中比较重要的一个模块。虽说到目前为止，许多研究者都提出了各式各样的镜头检测方法，但都存在各自的缺点，因此还需要改进。举例来说，有的方法在运算的时间复杂度上太高，它们或是需要将原图像从RGB空间转换到HSV或La^*b^*颜色空间，或是需要对图像的每个子块进行块匹配，或是需要对图像中的物体边缘进行检测和比较，因此总而言之，它们在进行这些处理时都会耗费较多的时间，不能够满足全自动2D转3D系统在实时性上的要求。另外，还有一些方法所使用的原理过于复杂，步骤过于繁琐，不利于今后实现该模块的硬件化。而像一些基于聚类的镜头分割方法则需要先读入所有帧的信息，再对这些帧进行分类，也不符合全自动2D转3D系统那种读入一帧就判断一帧的在线处理的模式。

发明内容

本发明的目的旨在至少解决上述技术缺陷，本发明提出了用于全自动2D转3D系统中的实时镜头检测方法。该方法能够实时并且在线地给出当前帧的镜头检测结果，在保证查准率的基础上，具有较高的查全率，基本能满足后续处理的要求。

为达到上述目的，本发明一方面提出一种全自动2D转3D技术中的实时镜头检测方法，包括以下步骤：读取当前帧；将所述当前帧划分为多个子块；统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。

本发明再一方面还提出了一种全自动2D转3D技术中的实时镜头检测装置，包括：读取模块，用于读取当前帧；统计模块，用于将所述当前帧划分为多个子块，并统计相对于前一帧的所述多个子块的帧间差异值和累积帧差值；阈值调整模块，用于根据所述多个子块的帧间差异值动态调整所述多个子块对应的低阈值和高阈值；和镜头检测模块，用于根据所述多个子块的帧间差异值和累积帧差值，以及所述对应的低阈值和高阈值获得所述当前帧的镜头检测结果。

本发明的主要特点在于：

1)本发明的实时性较高，实验证明，对于分辨率为800×600的图像，在普通的单核电脑上，每帧的处理速度低于5ms。

2)据统计，视频中出现的镜头变换90％以上都是突变及淡出淡入渐变，本发明对这两种类型的镜头变换都能获得比较好的检测结果。当淡出淡入渐变过程中有黑屏出现时，对淡出淡入渐变的检测主要是确定黑屏起始帧。除此之外，本发明还能实现对没有黑屏帧出现的淡出淡入渐变、溶解渐变甚至是错切渐变的检测。

3)本发明所使用的阈值是自适应选取的，因此当视频中的场景发生变化，或是视频中物体的运动速度发生改变时，算法均能够自动确定适当的阈值，从而增强了本发明的鲁棒性和适应性。

4)本发明不像某些已有的镜头检测方法那样，需要建立某种数学模型，使用比较复杂的判定方法。相比之下，本发明在原理和流程上都较为简单，方便将该模块在硬件上进行实现。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的全自动2D转3D技术中的实时镜头检测方法流程图；

图2为本发明实施例动态调整四个子块对应的低阈值和高阈值的示意图；

图3为本发明实施例的获得当前帧镜头检测结果的流程图；

图4为本发明实施例的全自动2D转3D技术中的实时镜头检测装置结构图。

具体实施方式