[发明专利]用于基于视频内容特性的输出创建的方法

说明书

本申请案涉及用于自动地确定视频序列中的帧的若干特性且基于所述帧特性自动地推荐或准备图像输出产品的新型方法。在一些实施例中，计算特定图像帧的运动特性，且自动地使用所述运动特性来准备或推荐适合于所述帧的所述运动特性的图像输出产品。在其它实施例中，评估面部、音频及总体图像质量并且使用其来自动地推荐或准备图像输出产品。在又其它实施例中，针对各种用户指定特性分析视频序列中的图像帧，接着使用所述特性来自动地推荐或准备图像输出产品。

技术领域

本发明涉及视频处理领域，且更具体来说，涉及用于基于关键帧识别来创建输出照片及视频产品的改进方法。

背景技术

关键视频帧的选择在许多应用中是有用的。例如，通常希望提取及呈现视频数据的某个子集，其可传达视频的精确且可识别的摘要或梗概。关键帧提取算法用于从视频中选择信息量最大的帧的子集，目标是以有限数量的帧表示视频的最重要的内容。关键帧提取应用于视频处理的若干广泛领域，例如视频摘要、在DVD中创建章节标题、视频索引及从视频进行打印。摘要或梗概也可促进视频共享或帮助用户决定完整视频是否值得下载或观看。关键帧提取是一个活跃的研究领域，且存在用于从视频中提取关键帧的许多方法。

用于通过提取关键视频帧来创建视频摘要的算法在所属领域中是已知的。例如，授予亚伦T.蒂伐(Aaron T.Deever)的第8,599,313号美国专利(其全部内容以引用方式并入本文)主要基于帧间运动检测来确定关键视频帧。授予J.罗(J.Luo)等人的题为“针对关键帧分析相机捕获视频(analyzing camera captured video for key frames)”的第8,031,775号美国专利(其全部内容以引用并入本文)教示了使用相机的运动传感器(例如，加速度计或镜头电机传感器)来估计全局运动，包含场景或相机的平移或场景的缩放。使用置信分数从视频片段中提取关键帧候选者。授予J.罗等人的题为“从视频剪辑中提取关键帧候选者”的第7,889,794号美国专利(其全部内容以引用方式并入本文)通过对指示场景或相机的平移的视频剪辑执行全局运动估计来分析视频剪辑以确定关键帧。作为额外实例，授予I.维尔福(I.Wilf)等人的题为“从视频序列中选择关键帧的方法”的第7,184,100号美国专利(其全部内容也以引用方式并入本文)教示了通过使用区域及运动分析将视频序列中的每一帧与相邻帧进行比较来从视频序列中选择关键帧。然而，这些参考文献中均未教示使用经提取关键帧以基于关键帧的某些特性产生经打印输出产品。

授予X.林(X.Lin)等人的第2006/0257048号美国专利公开案(其全部内容以引用方式并入本文)教示了一种用于使用视频流的帧自动地产生打印页面的方法。本申请案教示了使用关键帧提取算法以从视频序列中提取关键帧。接着，描述用以使用用户输入将经提取关键帧自动地放置到页面上的页面布局工作流程。然而，本申请案未能教示如何推断及创建不同的输出产品类型(例如视频动作打印、全景打印及电子幻灯片)。

因而，具有多种方法来使用例如运动特性的信息及关于用于捕获特定关键帧的变焦量的信息来选择最适合于特定关键帧的特性的输出产品类型将是有用的。

发明内容

本申请案涉及用于基于消费者视频序列(例如经录制视频的部分)中的特定帧的内容特性来自动地推荐及准备输出产品的新型方法。根据本发明，在推荐及准备输出产品时可考虑的内容特性包含视频序列的运动及变焦特性以及例如序列中面部的存在、位置及场景类型的语义内容属性。也可考虑其它特性。

运动检测及估计可使用许多已知技术来实现，所述技术包含基于块的方法、光流方法及利用基于积分的运动估计的方法。缩放信息可从相机元数据获得或推导。语义内容属性可使用例如面部检测及识别算法、事件检测及分类算法及场景识别算法以及其它方法的图像理解技术来检测。在关键帧检测方法中获得的额外信息也可用于根据本发明的实施例推荐及准备输出产品。

使用视频、图像及音频特性以对帧进行分类并推荐图像输出产品辅助用户从其保存的视频序列中获取值，所述视频序列可能难以编辑及操纵成可用的简洁呈现。