[发明专利]用于自动视频概括的设备和方法

说明书

本文描述了用于自动视频概括的系统和技术。可获得视频并且可从该视频的帧生成该视频的语义模型。可向帧指派相应的相关性评分。可使用该相应的相关性得分来初始化语义模型。该语义模型随后被迭代地处理以产生该视频的子场景，该子场景的集即为视频概括。

优先权申请

本申请要求2015年10月28日提交的美国申请S/N.14/925,701的优先权的权益，该申请通过引用整体结合于此。

技术领域

本文描述的实施例一般涉及计算机视觉系统，且更具体地涉及自动视频概括。

背景技术

计算机视觉系统一般涉及允许计算机处理图像数据以从该数据导出含义的进展。计算机视觉是人工智能的一方面，人工智能是涉及开发用于执行传统上需要活着的行动者(诸如人)的认知任务的人工系统的领域。视频一般由一系列静止图像组成。本文所使用的视频概括是指选择视频的子序列来创建该视频的子场景。这些子场景可被称作剪辑、集锦等。

附图说明

在附图中(这些附图不一定是按比例绘制的)，相同的数字可以描述在不同视图中的类似的组件。具有不同的字母后缀的相同的数字可以表示类似组件的不同实例。附图一般作为示例而非限制方式来示出在本文档中讨论的各种实施例。

图1是根据一个实施例的环境的示例的框图，该环境包括用于自动视频概括的系统。

图2是根据实施例的例示出用于自动视频概括的系统的通信流程的示例的框图。

图3是根据实施例的例示出用于自动视频概括的系统的通信流程的示例的框图。

图4例示出根据实施例的用于生成语义模型的系统通信流程的示例。

图5例示出根据实施例的语义模型可视化的示例。

图6例示出根据实施例的用于对帧指派相关度得分的系统通信流程的示例。

图7例示出根据实施例的用于使用语义模型和所分配的相关性得分来产生子场景的系统通信流程的示例。

图8例示出根据实施例的使用语义模型和所分配的相关性得分来产生子场景的可视化。

图9例示出根据实施例的用于支持子场景选择的监督式学习的用户界面。

图10例示出根据实施例的用于自动视频概括的方法的示例。

图11是例示可在其上实现一个或多个实施例的机器的示例的框图。

具体实施方式

概括视频是困难的计算机视觉问题，因为它通常不仅需要理解视频中显示的是什么，而且还要理解它是否重要。分类器是被设计成将语义上下文赋予视觉数据的系统(例如，经训练的机器学习系统)。视频概括分类器通常在特定场景下经受训练，诸如穿行于城市环境中的行人手持相机。一般来说，这些分类器需要大量训练集(例如，在城市中行走的人的视频)并且常常要求显著的人类反馈(例如，选择相关帧、子场景等)是有用的。然而，这些分类器趋向受限于所使用的特定训练集和技术。例如，先前提到的城市行人分类器可将牲畜分类为相关(大多数城市环境中的不寻常事件)，并由此将来自养牛场的视频镜头的牛分类为在很大程度上相关，尽管在该情境中，动物是司空见惯的东西。