[发明专利]用于图像处理的电子设备、存储设备和方法

说明书

本文描述一种用于使用语义信息的视频概括的设备。该设备包括控制器、评分机构和概括器。控制器将传入的视频流分割成多个活动段，其中每个帧与活动相关联。评分机构要为每个活动的每个帧演算分数，其中分数基于每个帧中的多个对象。概括器要基于对于每个帧的分数概括活动段。

相关申请的交叉引用

本申请要求由Hwangbo等人在2015年12月24日提交的题为“Video Summarizationusing Semantic Information”的美国专利申请号14/998，322的提交日期的权益，并且通过引用并入到本文。

背景技术

电子装置典型地包括能够捕获图像、静止镜头和视频数据的图像捕获机构。电子装置包括（但不限于）移动和可穿戴装置。视频数据能够容易地被捕获并为了各种目的被共享。典型地在本地记录和保存或在线共享视频数据。由于易于捕获，所以用户能够保存和共享大量视频。然而，用户不愿意花费时间和精力来仔细检查大量视频以定位他们想要观看或共享的特定视频或时刻。另外，视频数据能够消耗大量存储空间。

附图说明

图1是使能使用语义信息的视频概括的电子装置的框图；

图2是使用语义信息的视频概括的概图；

图3是视频概括流水线的概图；

图4是CNN活动分类器的定性结果的图示；

图5是具有对于对象分类的检测概率的边界框的图示；

图6A和6B示出视频概要；

图7是用于利用语义信息的视频概括的方法的过程流程图；以及

图8是示出包含用于视频概括的逻辑的介质的框图。

附图和本公开通篇中使用相同附图标记来引用类似组件和特征。100系列中的数字是指原本在图1中发现的特征；200系列中的数字是指原本在图2中发现的特征；以此类推。

具体实施方式

视频概括是在视频中自动发现代表性和突出的时刻的计算机视觉系统。它使得用户能够通过查看高亮区（highlight）和概要而快速浏览视频的大量收集。同样地，它通过只保留有信息的片段而有助于节省存储和通信带宽。概要将由将简洁地传达整个视频的整体故事情节的关键帧或子场景的集合组成。

之前的许多现有视频概括解决方案必定使用诸如颜色直方图或光流的低级特征。这种内容不可知的途径不能在构建概要时捕获在语义上有意义的时刻，并且只对于其中假设专业编辑的有限情形（像电影和电视新闻）工作。同样地，它们的应用局限于单个事件或情形的视频。

本文中描述的实施例确定驻留在视频中的高级语义上下文（例如，活动、对象、位置和人），并利用重要性评分机构从语义上下文产生内容感知概要。取代依赖于手工制作的特征，使用从成千上万个图像提取数据驱动特征的卷积神经网络。这个深度特征对于在由普通用户捕获的长时间或未经编辑的视频中严重发生的不稳定的相机运动、光照改变和场景混乱更加不变。

图1是使能使用语义信息的视频概括的电子装置的框图。电子装置100除其它以外可以是例如膝上型计算机、平板计算机、移动电话、智能电话或可穿戴装置。电子装置100可包括配置成执行存储的指令的中央处理单元（CPU）102以及存储可由CPU 102执行的指令的存储器装置104。CPU可通过总线106耦合到存储器装置104。另外，CPU 102能够是单核处理器、多核处理器、计算集群或任何数量的其它配置。此外，电子装置100可包括多于一个CPU102。存储器装置104能够包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器或任何其它合适的存储器系统。例如，存储器装置104可包括动态随机存取存储器（DRAM）。