[发明专利]一种视频中周期性结构片段检测的方法及系统

说明书

技术领域

本发明涉及视频结构化及内容分析领域，尤其涉及一种视频中周期性结构片段检测的方法及系统。

背景技术

随着各种数字视频摄录设备的小型化、高速化及普及化，每天都有数量巨大的视频数据产生，但由于这些数据以非结构化形式存在并且数量巨大，所以如何快速有效的管理和访问这些视频内容便成为目前视频应用的一个瓶颈。该瓶颈的突破口就在于新的视频自动化分析处理技术。该类技术包括视频结构化分析、视频内容分析、视频精彩摘要、基于内容的视频索引和检索。

一般而言，视频结构化分析是视频内容分析等后续应用处理的第一步。

下面对现有技术中的镜头、子镜头、关键帧和周期性结构片段进行详细说明。

镜头，是由摄像机一次不间断拍摄中所得到的一系列连续视频帧组成，在时间和空间上表示一个连续的动作。

子镜头，是指比镜头颗粒度更小视频结构单元，一个镜头或一小段视频可以被划分为一个或多个子镜头，划分标准是视频视觉内容的统一性。也就是说，子镜头相对于镜头所包含的视觉内容更紧凑、更单一。

关键帧，是指可以用来代表镜头或子镜头内容的重要视频帧。

周期性结构片段，是指包含一个完整动作或事件并在视频中反复多次近似重复出现的结构片段，周期性结构片段构成视频主体内容并具有丰富语义。周期性结构片段本身是由一系列的关键子镜头组成。

根据拍摄对象、娱乐形式、应用场所的不同，视频可以分为电影、家庭视频、音乐视频、体育视频、监控视频和新闻视频等。不同类型的视频因为所拍摄相机数、拍摄地点、拍摄手法的不同，而展现出不同的结构特性来。

以体育视频为例，运动员的动作画面是构成体育视频的最主要内容。运动员往往都是依次在相对固定的场地或器材上进行动作展示，有着确定的时序结构，不同的运动员所展示的动作形式也基本上相类似，并且这些动作画面一般都是通过位置相对固定的某个摄像机拍摄成体育视频的，因此，从整段体育视频上来看，不同运动员的展示动作片段具有很高的相似性，呈现出周期性模式。以体育视频中的射箭运动视频来说，每个运动员的完整比赛动作都是由“亮相准备→拉弓瞄准放弦→射中箭靶”组成。一个运动员完成动作后，另一个运动员按同样动作次序完成比赛，上述动作画面周期性出现；对应的，在射箭视频中，由“准备→拉弓瞄准放弦→箭靶”一系列子镜头画面所构成的完整射箭动作结构片段也为周期性出现。

再比如，在跳水运动中，运动员的完整动作由“跳台或跳板上亮相准备→起跳→空中姿态动作→入水→得分”组成，在整个比赛过程中，运动员按比赛轮次交替出现，跳水动作过程周期性出现；对应的，在跳水视频中，由“准备→起跳→空中跳水动作→入水→得分”一系列子镜头画面所构成的完整跳水动作结构片段也是周期性出现。

同样，在监控视频中，一些结构片段也呈现出一定的周期性，比如说在银行柜台前面的监控摄像头所拍下的视频里，构成视频最主要内容的客户办理业务的画面结构片段是周期性出现的。在新闻视频中，播音员画面结构片段是周期性出现。

上面给出的体育、监控、新闻等视频的共同特征是，均具有较好的结构性，内容上呈现出一定的单一性，拍摄相机、拍摄地点相对固定，视频主要内容由具有丰富语义的周期性结构片段组成。可以利用这些共同特征来对这类结构性很好的视频进行结构化分析及内容语义分析。

对于后续高级应用处理，如视频浏览、索引、检索、精彩程度排序、视频摘要、视频增强，需要将上述周期性片段从视频中检测出来。

发明内容

为解决上述问题，本发明提供了一种视频中周期性结构片段检测的方法及系统，用于从视频中检测出周期性结构片段。

本发明公开了一种视频中周期性结构片段检测的方法，包括：

步骤1，从所述视频中删除重放片段；

步骤2，以子镜头为单元对所述视频进行分解；

步骤3，依据被分解出的子镜头间的相似度的距离对所述子镜头进行聚类；

步骤4，根据所述子镜头在所述视频中的位置及所述子镜头所属的子镜头类，确定构成周期性结构片段的关键子镜头序列，并从所述视频中匹配出所有所述关键子镜头序列。

所述步骤1进一步为：

步骤21，查找出所述视频的重放片段的起始帧和结束帧；

步骤22，依据所述起始帧的帧号和所述结束帧的帧号，将所述重放片段从所述视频中删除。

所述步骤2进一步为：

步骤31，对所述视频进行子镜头边界检测，以获得子镜头的起始帧的位置和结束帧的位置；