[发明专利]从视频中提取关键帧的方法和设备

说明书

技术领域

本发明涉及视频的处理和分析，尤其涉及从视频中提取关键帧的方法和设备。

背景技术

日常生活中，我们阅读的较长的文章往往都提供简略的摘要，书籍一般都提供目录。随着信息技术的不断发展，视频也成为了现代生活中不可或缺的一种媒体。因此，为视频内容制作摘要，以方便用户浏览和查找就成为了一个重要工作。对于部分视频内容(例如，电影)，可以采用人工的方式制作视频摘要。但是对于许多视频内容(例如，网络分享视频)而言，人工方式由于需要耗费大量的工时和资金而变得不现实。对于这些应用，计算机自动视频摘要生成技术十分重要。

视频中视觉相关部分是由一系列在时间上顺序排列的帧构成的。提取这些帧中最具代表性的关键帧作为视频摘要是一种直观而有效的方式。现有技术一般都从视频的各个镜头或者子镜头中提取出候选的关键帧。如何从候选帧中选取出整个视频的关键帧，使得用户浏览尽量少的关键帧便可以有效理解视频的大概内容，是自动视频摘要的一种重要技术。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于提供一种从视频中提取关键帧的方法。

根据本发明的一个方面，一种从视频中提取关键帧的方法包括：将视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；从视频的一个非最高层次的各个视频段提取非最高层次的候选帧；针对从非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及输出最高层次的候选帧作为视频的关键帧。

根据本发明的另一方面，一种包括从视频中提取关键帧的设备，包括：划分单元，被配置为将视频划分为多个层次的视频段，其中每个非最低层次的视频段包括一个或多个下一层次的视频段，多个层次包括从第1层次到第N层次，N为大于1的整数，第1层次为最低层次，第N层次为最高层次；提取单元，被配置为从视频的一个非最高层次的各个视频段提取非最高层次的候选帧；选择单元，被配置为针对从上述非最高层次的上一层次到最高层次的每个层次，从每个该层次的视频段所包括的下一层次的候选帧中选择出0个、1个或多个该层次的候选帧；以及输出单元，被配置为输出最高层次的候选帧作为视频的关键帧。

另外，本发明的实施例还提供了用于实现上述从视频中提取关键帧的方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述从视频中提取关键帧的方法的计算机程序代码。

本发明能够很好地平衡来自视频的不同内容单元的关键帧在视频关键帧列表中所占的比例，以使用尽量少的关键帧实现有效理解的预览效果。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是根据本发明的实施例的从视频中提取关键帧的方法的流程图；

图2是图1中根据本发明的实施例的从视频中提取关键帧的方法中的从下一层次的候选帧中选择本层次的候选帧的方法的流程图；

图3是实现本发明的实施例的从视频中提取关键帧的一种方法的示意图；

图4是根据本发明的实施例的从视频中提取关键帧的设备的框图；以及

图5是可以用于实施本发明的从视频中提取关键帧的方法和设备的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

下面首先参照图1来描述根据本发明的实施例的从视频中提取关键帧的方法。