[发明专利]一种基于图分割和实例学习的视频场景检测方法

说明书

技术领域

本发明涉及视频处理技术领域，具体来说是一种基于图分割和实例学习的视频场景检测方法。

背景技术

近年来结构化视频数据分析技术大量运用到数字视频分析与处理中，一个影视视频通常由上千个视频镜头组成，然而单个镜头包含的信息内容较少，因此需要把相似的镜头组织成场景。一个视频场景应该由多个连续且语义相关的镜头组成，组成场景的镜头表达相同的内容。

目前基于图的描述方法被广泛运用于视频场景检测中，基本可以分为如下几类：基于场景转移图的方法(STG)和基于镜头相似图的方法(SSG)。STG方法首先运用聚类技术对镜头进行聚类，然后在聚类的基础上生成有向图。在STG中每个顶点代表一组镜头，边代表两组镜头的过渡。在SSG方法中，规范化消减技术被用来进行图分割得到场景；在SSG图中，每个顶点代表一个镜头，任意两个顶点间都存在一条边，并且每条边都根据镜头的相似度赋予了权重。

现有的图的描述方法能在一定程度上对视频场景进行分割，但也存在如下两个不足：1、过分割，由于需要设置全局阈值，因此阈值的选取至关重要，为了更加准确地获取场景边界，因此需要设置一个较大的阈值，这样就不可避免地造成了过分割的情况；2、计算复杂度较高，无论是STG中镜头聚类还是SSG中的规范化消减都需要大量的运算时间，如何降地场景检测方法的时间复杂度到工程可用的范围是一个挑战。

如何开发出一种能够防止过分割、时间复杂度低的视频场景检测方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中场景边界过分割和时间复杂度无法应用的缺陷，提供一种基于图分割和实例学习的视频场景检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于图分割和实例学习的视频场景检测方法，包括以下步骤：

视频镜头分割，输入视频序列，利用视频镜头分割方法检测出给定视频序列中的所有镜头；

提取镜头的视觉相似度特征，从镜头中抽取关键帧，联合HSV特征和SIFT特征构造镜头的视觉相似度特征；

有向时序图的构造和分割，构造描述整个视频的有限时序图，将图分割成若干子图；

基于实例学习的场景检测，将部分子图识别为训练实例TE,剩下未识别的子图利用实例学习方法归类到已识别的子图中，最后输出的所有子图为检测到的场景。

所述的提取镜头的视觉相似度特征包括以下步骤：

提取镜头所有序列中的起始帧、中间一帧和结束帧作为关键帧，得到一个描述整个镜头的关键帧集合；

提取关键帧的SIFT特征，并对SIFT特征做归一化处理，其公式如下：

SimFFsift(Fai,Fbj)=MMin(NBi,Nbj);]]>