[发明专利]用于视频内容分析的关键帧提取

说明书

技术领域

本发明涉及构成镜头（shot）的帧序列中的关键帧的提取领域，所述关键帧用于在视频摘要、浏览、搜索和理解中代表镜头。

背景技术

随着在因特网、移动设备和大范围的视频应用中存储和观看数字视频的流行性的快速增长，对视频数据的有效管理变得比以前重要得多。

对于自动视频检索而言，几乎不可能使用关键字描述视频序列。原因在于，人工注释需要巨大的人力，并且使用的关键字倾向于不精确且是主观的。因此，可以提供对视频序列的有效索引、检索和浏览的基于内容的技术将是一种解决方案。

用于管理视频数据的一般方法是借助于镜头切分检测或者场景分解检测将视频分割成称为“镜头”的若干组相关帧。在标识镜头边界之后，可以从每组帧（GoF）或者视频镜头中提取一个或多个关键帧或代表帧。然后，这些关键帧上的视觉内容被用来代表视频镜头以用于索引和检索。

关键帧提取是视频分析和管理中的基本部分，其提供用于视频索引、浏览和检索的适当视频摘要。关键帧的使用减少了视频索引中所需的数据量并且提供了用于处理视频内容的框架。

关键帧提取可以在场景或镜头水平下进行。通常，镜头水平下的分析是优选的，因为它保留了选择的关键帧在视频帧集中的时间顺序。

当前的关键帧提取技术可以分类成以下六类：

基于镜头边界的方法，基于视觉内容的方法，基于运动分析的方法，基于镜头活动的方法，基于无监督聚类的方法，以及基于宏块的方法。这些方法分别具有其优点。

例如，文献US2005/0002452公开了一种关键帧提取，该关键帧提取基于由亮度分布定义的熵度量以及与相邻帧的比较，使得具有最少运动活性的帧被选择。

看起来已知的提取方法在选择包含可以用于动作识别的复杂且快速变化的运动的帧方面表现得并不良好。

发明内容

有利的是实现一种提取代表镜头捕获的（多个）运动的关键帧的方法。

为了更好地解决一个或多个关切，在本发明的第一方面中，一种从构成镜头的每帧由像素矩阵构成的帧序列中提取关键帧的方法包括：

· 对于帧序列的每帧：

· 将该帧与后续帧相比的光流计算为从该帧到后续帧的每个像素的位移的矩阵；

· 基于该帧的光流计算运动熵度量；

· 将帧序列的具有最大运动熵度量的帧选择为关键帧。

所述方法特别有益于选择具有复杂且快速变化的运动的（多个）帧。

在一个特定的实施例中，

· 每个像素的位移被定义为具有模和位移角的矢量，运动直方图由代表模和位移角的组合的预定数量的面元（bin）定义。

· 丢弃具有最高频率的面元。

· 运动熵度量为每个面元的运动熵度量的总和，一个面元的运动熵度量与该面元在运动直方图中的出现频率成比例。

· 面元熵度量由该面元出现的对数频率的绝对值加权。

· 将每帧的运动直方图与另一帧的运动直方图进行比较以便将该帧的运动熵度量定义为相似性度量。

· 通过在具有预定长度的帧的滑动窗中选择所述帧序列的具有最大运动熵度量的帧而提取多个关键帧。

· 每个像素的位移定义为具有模和位移角的矢量，并且运动直方图由代表模和位移角的组合的预定数量的面元定义，运动熵度量为每个面元的运动熵度量的总和，一个面元的运动熵度量与该面元在运动直方图中出现的频率成比例，并且

· 所述方法进一步包括对于每个被选择的帧，与其相邻帧的运动直方图进行比较，并且用比较的结果对每个被选择的帧的运动熵度量进行加权。

在本发明的第二方面中，一种计算机软件产品存储在记录介质上并且包括一组指令，当计算机执行该组指令时，其使得计算机能够实施上面公开的方法。

在本发明的第三方面中，一种用于从构成镜头的帧序列中提取关键帧的装置，每帧由像素矩阵构成，该装置包括：

帧光流计算器，其用于将所述帧序列的每帧与后续帧相比的光流计算为从该帧到后续帧的每个像素的位移的矩阵；

运动熵度量计算器，其基于帧光流计算器的输出；

关键帧选择器，其用于选择帧序列的具有最大运动熵度量的帧。

取决于图像的类型，特定的实施例由于更易于适应或者由于给出更好的结果而可能是优选的。然而，可以适当地或者根据需要组合或修改这些特定实施例的各方面。

附图说明

本发明的这些和其他方面根据以下描述的实施例将是清楚明白的，并且将参照所述实施例进行阐述，其中：