[发明专利]基于流形排序的视频摘要获取方法

说明书

本发明涉及视频处理、分类，为利用数据之间的内在流形结构，从数据的全局特征计算数据之间的相似性，构造基于流形排序算法的视频摘要。本发明采用的技术方案是，基于流形排序的视频摘要方法，首先提取视频帧的视觉特征，并把视频帧看作空间中的点，然后利用流形排序算法对数据点进行排序；流形排序描述为以下过程：首先根据数据构造一个带权重的网络，将一个正的排序分数分配给与查询相关的点，将零排序分数分配给剩下的待排序的点；然后，所有的点通过权重网络将他们的分数传递给与他们邻近的点，重复这一传播过程直到整个网络达到稳定状态，此时所有的点均获得他们最后的排序分数。本发明主要应用于视频处理、分类场合。

技术领域

本发明涉及视频处理、分类，具体讲,涉及基于流形排序的视频摘要方法。

背景技术

随着信息技术的快速发展，图像和视频等多媒体数据大量涌现，成为人们获取信息的重要途径之一。然而，由于视频数量的剧增，降低了用户浏览的效率，这就需要一种技术能够有效地管理视频数据，使用户更加有效地获取他们想要的信息。视频摘要定义为一组静止的或运动图片序列，它以一种简洁的方式将视频的主要内容呈现出来。

目前视频摘要技术主要从视频的冗余性，重要性和覆盖率三个方面考虑。冗余性指视频中存在多余的信息，在提取视频摘要时需要设计去除视频冗余信息的方法。重要性指提取视频摘要时需要提取视频的主要内容。覆盖性指设计视频摘要方法时要考虑提取的关键帧能够代表视频的主要内容,使视频摘要尽可能地覆盖视频的重要内容。

视频摘要技术主要有两种模式：基于关键帧的静态视频摘要和基于视频梗概的动态视频摘要。静态视频摘要模式通过一系列的关键帧组成相应的语义单元，概括表示镜头的内容。静态视频摘要生成摘要的速度比较快，表达形式直观简洁。动态视频摘要模式则是由小视频片段组成，保持了视频内容随时间变化的固有特征，易于用户的理解。

目前常用的视频摘要技术主要有基于聚类的方法，帧间最小相似度的方法，最小重构误差的方法以及基于对象或事件检测的方法。其中，基于聚类的视频摘要把视频中的帧看作是特征空间中的点，把每类中距离聚类中心点最近的点看作关键帧，形成静态视频摘要。由于聚类方法在数据分析领域大量使用，研究较为成熟，因此成为了一种常用的视频摘要方法。此外，聚类方法能够满足提取视频的全局特征，满足了视频摘要的覆盖率标准。但是，这种全局聚类不易对视频内容的重要性做出判断，较难满足重要性标准。另外，由于语义鸿沟的存在，要准确地实现有意义的聚类也较为困难。帧间最小相似度的方法目的是使关键帧之间的相似度最小，例如序列决定点过程(sequential determinal pointprocess,seqDPP)相似度方法是其中的一个代表性方法。它可以用来生成低冗余度的视频摘要。最小重构误差的方法目的是使原始视频帧与关键帧插值得到的重构误差最小。基于对象或事件检测的方法使用视频中的语义信息来生成摘要，常用的信息有对象、动作、事件等。例如，对于体育视频，可以检测进球，犯规等重要事件，进行排序，组成摘要。

以上方法仅从视频摘要的某一个标准出发(如冗余性标准或重要性标准)，而未综合考虑三个标准，使得视频摘要的效果并未达到理想效果。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于流形排序的视频摘要方法。由于传统的视频摘要方法主要利用欧式距离计算帧之间的相似性，忽略了视频的帧间数据的内在低维流形结构。本发明利用数据之间的内在流形结构，从数据的全局特征计算数据之间的相似性，对于现实世界的许多数据来讲，这种方法明显优于基于数据的局部欧氏距离的相似性计算方法，并同时结合视频的重要性、覆盖率以及冗余性三个标准，构造基于流形排序算法的视频摘要。本发明采用的技术方案是，基于流形排序的视频摘要方法，首先提取视频帧的视觉特征，并把视频帧看作空间中的点，然后利用流形排序算法对数据点进行排序；流形排序描述为以下过程：首先根据数据构造一个带权重的网络，将一个正的排序分数分配给与查询相关的点，将零排序分数分配给剩下的待排序的点；然后，所有的点通过权重网络将他们的分数传递给与他们邻近的点，重复这一传播过程直到整个网络达到稳定状态，此时所有的点均获得他们最后的排序分数。