[发明专利]一种视频摘要的关键帧提取方法

说明书

本发明公开了一种视频摘要的关键帧提取方法，所述方法包括：对视频摘要中满足代表性和多样性条件的帧进行提取以作为所述关键帧，如下式所示：其中，R(S)代表关键帧的代表性，而D(S)代表关键帧的多样性，S表示关键帧。本发明提出了新的代表性和多样性的定义方法，它们分别基于拓扑势与范数，并且提出了关键帧提取的数学模型。

技术领域

本申请涉及机器学习与数据分析领域，其尤其指一种视频摘要的关键帧提取方法。

背景技术

视屏摘要：视频摘要又称视频浓缩，是对视频内容的一个简单概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索，获取证据传统的做法是要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时机。因此在视频监控系统中，对原始视频进行浓缩，可以快速浏览，锁定检索对象，能够满足公安，网监，刑侦的各种需求及应用。

静态的视频摘要：也称之为视频概要(video summary)，是以一系列从原始视频流中抽取出来的静态语义单元来表现视频的内容。静态语义单元是诸如关键帧、标题、幻灯片等可以概括表示视频镜头内容的静态特征信息。目前的静态视频摘要的研究主要是基于关键帧选取方法来展开的。通过将多个关键帧组合成视频摘要，允许用于通过少量的关键帧快速浏览原始视频的内容，并提供快速检索。关键帧的选取主要利用颜色、运动矢量等视觉特征去区分帧间的差异性。但差异性的区分计算依赖阈值的选择，选择过程中计算了较大、实时性较差。基于关键帧的视频摘要结果简单，观看方便。但由于其以静态图像为结果的表达形式，很难准确地表达视频的内在语义，且对“对象”动态特征的描述不够全面，所以仅仅适用于视频的精彩瞬间生成，无法适应需要进行“对象”特征分析的场合。

动态视频摘要：又称之为视频浓缩(video synthesis)，是一段比原始视频短的多的浓缩结果。动态视频摘要可以分为精彩剪辑视频、专题浓缩视频、一般浓缩视频三种。精彩剪辑视频主要用于电影电视行业，是由原始视频中的精彩瞬间组成，专题浓缩视频主要应用于医学、金融等特定领域，利用特定专业知识对原始视频进行分析后浓缩得到的表现该领域特定内容的浓缩视频。

相对而言，一般视频浓缩采用通用浓缩方法面向较为普通视频，用户可以通过播放这些相对精炼的摘要视频来了解整个视频的内容。

发明内容

本发明认为组成视频摘要的关键帧需要满足代表性和多样性，其提出了新的代表性和多样性的定义方法，它们分别基于拓扑势与范数，并且提出了关键帧提取的数学模型。并且利用拓扑势来确定每一帧代表性，在我们得到每一帧的拓扑势后，将视频帧按照拓扑势进行代表性排序。同时考虑视频帧的外观不相似度和行为不相似度对其进行分别定义，最终得到确定关键帧的式子。

本发明的目的通过下述技术方案实现：

组成视频摘要的关键帧需要满足代表性和多元性，如下式所示：

其中，R(S)代表关键帧的代表性，而D(S)代表关键帧的多样性。

(1)代表性

对video frames建立网络G＝(V,E)，其中V为视频帧集合，E的权重为d_ij＝d(v_i,v_j)。根据数据场势函数的定义，任一结点的拓扑势可以表示为，