[发明专利]基于累计差异度和奇异值分解的镜头边界检测方法和装置

说明书

本发明实施例提供了一种镜头边缘检测方法和装置，该方法包括：获取目标视频，将目标视频划分为多个视频段落；将多个视频段落分组,确认各视频段落的首、尾帧差，基于其均值确认每组的自适应阈值；根据自适应阈值,在各组中确认至少一个或多个候选视频段落；对于每个候选过渡段落，提取该候选过渡段落包含的多个图像帧的HSV特征，生成该候选过渡段落的特征矩阵；对特征矩阵进行奇异值分解，获取该候选过渡段落的降维矩阵；利用降维矩阵获取该候选过渡段落中每连续两帧的差异度，据以确定该候选过渡段落的最大差异度，以及累积差异度，若最大差异度大于累积差异度，该候选过渡段落包含突变过渡镜头边界，由最大差异度确定突变过渡镜头边界位置。

技术领域

本发明涉及视频检测领域，尤其涉及一种基于累计差异度和奇异值分解的镜头边界检测方法和装置。

背景技术

随着计算机技术和多媒体技术的快速发展，使得网络中的数字视频呈现爆炸式增长。镜头是视频的基本单位，被定义为由单个摄像机连续拍摄的帧序列，镜头边界检测是更高维度任务(例如视频语义分析、视频场景分割和视频检索)的前置任务，所以能够有效地进行镜头边界检测至关重要。一段视频是通过多个镜头的按序连接，镜头的连接方式可分为突变过渡(CT)和渐变过渡(GT)。突变过渡，顾名思义，就是将两个镜头首尾相接，连接处不做任何处理，通过突变过渡的前后两个镜头会在光照、纹理、运动、色调等方面呈现出较大差异，相对于渐变过渡来说更容易区分。除了突变过渡外，其余的镜头过渡方式都叫做渐变过渡，继续细分下去，又可以分为淡入淡出(Fade in/Fade out)，溶解(Dissolve)，在同一帧中同时存在前后两个镜头的视觉特征，叠化。渐变过渡的镜头过渡非常缓慢，通常会持续20帧左右，相邻两帧之间的差异并不显著，也正是因为渐变过渡的过渡缓慢和类型多样，造成了GT检测比CT检测要困难得多。

奇异值分解(Singular value decomposition,SVD)的早期研究大多都是聚焦于CT检测，基于像素差异镜头边界检测是最简单的方法，只需要逐像素比较连续帧的像素强度差异，当超出某个阈值则标记为检测到过渡。但基于像素的方法的弊端也是显著的，当画面局部存在物体运动，或者摄像机的运动，会引起较大的像素差异导致错检。为了克服像素特征对于局部的运动的敏感性，许多研究人员便提出采用一种基于块的帧间对比方法，核心思想在于将每一帧划分成多个块，将每个块与下一帧对应块进行比较，若块间存在明显区别则标注该块发生变化，当变化块的数量超出给定阈值时，则定义为存在镜头边界。这种帧间对比方法中针对渐变过渡中的擦除变化提出一种将每一帧图像分块映射到缩小图像，计算相邻帧的统计特征和结构特征来检测过渡区域，利用霍夫变换分析擦拭模式。在处理彩色视频片段时，研究人员使用颜色直方图，即统计在一定颜色范围内的像素数的数量，常用的用RGB、HSV、CMYK等，而其中HSV是最常用。颜色空间特征可作为全局特征，也可作为局部特征使用。使用局部特征主要是为了克服不同帧会出现相似全局直方图的情况，有一种使用局部色彩特征(local color features,LCF)的镜头边界检测方法，对比基于兴趣点周围的局部图像的颜色特征空间的差异来找到镜头边界。基于像素和直方图的方法也有很大的局限性，当画面中出现突然的亮度变化时，算法的正确率会大大降低。SIFT，SURF和MSER是局部特征描述符，核心思想是比较相邻连续帧的局部特征匹配情况，若匹配的特征点的数量小于设定的阈值，则说明存在镜头边界。SIFT描述符具有图像平移、旋转和缩放不变形，对于轻微的视角变换和突然的亮度变化具有鲁棒性，有的方法从视频边界帧中提取SIFT特征，来识别突变过渡和渐变过渡。有的研究人员提出了一种基于熵和SURF特征的场景检测框架，SURF特征用于检测突变过渡，而帧熵分析用于检测渐变过渡。而对于GT检测的研究，虽然到现在为止学者们提出了很多检测方法和技术，但是仍然没有一种适用于所有类型边界的鲁棒算法。

因此，需要一种新的镜头边缘检测方法。

发明内容