[发明专利]基于超图主集聚类的多视频摘要获取方法

说明书

本发明涉及视频摘要处理，为提供一种能够结合视频的视觉信息和与主题相关的先验信息，利用超图主集聚类思想和最大边际相关思想的多视频摘要方法。本发明所采用的技术方案是：基于超图主集聚类的多视频摘要方法，首先构建视频关键帧内容节点超图，通过二分类的主集聚类得到覆盖性强的候选关键帧集；然后利用网页图片与视频集在同一事件主题下的共性关系，得到与主题相关性程度高且冗余性小的关键帧集；最后通过视频帧在视觉上的连贯性对关键帧集进行排序，实现简洁且有意义的多视频摘要。本发明主要应用于视频处理场合。

技术领域

本发明涉及视频摘要处理。特别是涉及对具有冗余性，交叉性等特点的多媒体视频数据，通过超图主集聚类方法对多视频关键镜头进行分析，再结合网页图片的辅助信息进行摘要获取的基于超图主集聚类的多视频摘要方法。具体讲，涉及基于超图主集聚类的多视频摘要方法。

背景技术

随着技术的发展，在线视频的数量正以飞快的速度增长，用户也可以使用自己的移动设备方便地上传个人视频到共享网站。记录同一事件、同一场景的视频可能存在大量的冗余信息，这对用户捕捉重要信息带来了困难。因此对大量的视频集中提取出有意义的部分，使用户快速获取视频信息的重要内容的技术是迫切需求的。视频摘要是通过将一个或多个视频转换为精简视频来满足此要求的技术，引起了越来越多的研究人员的关注。多视频摘要技术旨在针对某个查询主题下的大量视频，提取出和检索主题内容相关的且有意义的部分，并以一定的逻辑形式呈现出来，目的是通过简洁而又涵盖主题内容的概要帮助用户更好地了解视频集的重要信息。视频摘要的方法也可以分为两类：基于关键帧的视频摘要和基于视频剪辑的视频摘要。不管是哪类方法，根本目的都是一样的，就是使用户在最短的时间获取原始视频中最大的信息量。多视频摘要需要满足的基本要求：1)最大信息覆盖率；2)重要性；3)主题相关性。最大信息覆盖率指的是所提取的视频内容能够覆盖同一主题下多个视频的主要内容。重要性指的则是根据某些先验信息提取视频集中重要的关键镜头，从而提取出多个视频中重要的内容。主题相关性指的是要保证获取的视频摘要并能准确的反映查询主题的内容。

对于单视频摘要，目前有很多实现方法。但是多视频数据集的处理就比较困难。一方面多视频数据集存在较大的冗余性：大量同性质的网站提供相同或者类似的视频资源，用户可以上传自己的视频数据。另一方面多视频数据集同一内容所表现出来的音频信息，文本信息和视觉信息可能存在较大差别。因此多视频摘要技术相对于单个视频摘要获取就存在比较大的困难。

作为一个更具挑战性的任务，研究学者针对多视频数据集提出了一些比较可行的方法。其中聚类的方法或者图模型法在原始搜索结果中分析和发现视觉相似的图像作为搜索样例原型是一种比较常用的方法。传统的聚类方法不能解决多视频数据集在同一主题下内容多样且冗余所带来的困难。只考虑视觉上的信息效果较差，需要结合多视频的多模态信息进行摘要的获取。

针对同一主题下的多视频数据集，利用视频的视觉共现特性(visual Co-occurrence)实现多视频摘要是一种比较新颖的方法。该方法认为重要的视觉概念往往重复出现在同一主题下的多个视频中，并根据这一特点提出了最大二元组查找算法(MaximalBiclique Finding)，提取多视频的稀疏共现模式，从而实现多视频摘要。但是该方法仅适用于特定的数据集，对于视频中重复性较小的视频集，该方法就失去了意义。

此外，相关学者利用多视频中的文本，音频等多模态信息，判断视频中的重要信息，生成多视频摘要。目前，由于多视频数据的复杂性，多视频摘要技术的方法还有待提升。因此，如何借助已有的多视频信息对数据集进行视频结构和内容的分析，更好地实现多视频摘要，成为目前相关学者研究的热点。

发明内容

本发明所要解决的技术问题是：针对多媒体视频数据的冗余信息、重复信息较多等特点，提供一种能够结合视频的视觉信息和与主题相关的先验信息，利用超图主集聚类思想和最大边际相关思想的多视频摘要方法。