[发明专利]一种基于用户偏好的实时视频摘要生成方法

说明书

技术领域

本发明属于图像处理领域，具体涉及一种新型的基于用户偏好的实时视频摘要生成方法。

背景技术

随着移动设备性能的不断提升以及大量的视频分享网站的出现，越来越多的人们选择利用移动设备拍摄视频去与他人分享自己生活中的精彩片段。为了快速的查找和浏览视频片段，人们希望能够对于视频进行标记和摘要。尽管已经有一些工具可以索引和标记视频，例如iMovie，但是这些工具需要大量的，费时的人工参与。同时，当用户正在拍摄视频的同时去进行实时的视频摘要是非常具有挑战性的一项任务。对于用户拍摄的视频而言，由于用户拍摄的视频内容是无规则的，而且视频内容的结构也是没有办法预知的，因此针对这种视频的视频摘要是十分困难的。

这些年来，研究人员提出了许多的针对于家庭视频的视频摘要技术。如Zhai提出了一种利用马尔科夫链的统计学方法将家庭视频分割为不同的逻辑单元。Andreas提出了一种半自动的家庭视频摘要方法，这种方法通过分析家庭视频中所包含的不同类型的运动进行视频分割，然后用户手动的在每个分段中选择关键帧生成视频摘要。Mei提出了一种结合心理学的视频摘要方法，通过分析用户在视频拍摄中的不同意图帮助视频摘要的生成。Saman提出了一种交互的和多级的视频摘要框架，允许用户灵活的选择摘要策略和摘要长度。Takeuchi提出了一种用户自适应的视频摘要系统，该系统通过自动分析用户电脑上的图片库来获得用户的偏好，根据用户的偏好进行关键帧的提取。

尽管这个领域已经发展的很多年，但是大多数的视频摘要的研究都是针对于已经拍摄完成的视频文件在电脑上进行视频摘要，很少有针对于移动设备的研究。传统的视频摘要面临的最大问题就是如何生成用户最感兴趣的摘要。目前所存在的传统的视频摘要技术的工作方式都是在用户视频拍摄完成后，通过数据线将视频文件传输到电脑上，利用成熟的摘要算法进行视频摘要，之后再将摘要结果展现给用户。这样的操作复杂，用户体验差，效率低，浪费用户大量的时间。于此同时，成熟的摘要算法大部分只关注于已经拍摄完成的视频，用户需要等待视频拍摄完成后，方可进行视频摘要，用户对于这个视频摘要的过程也是完全不可见的，用户并不能参与到整个过程中。

发明内容

针对现有技术中存在的问题，本发明提出了一种基于用户偏好的实时视频摘要生成方法。

本发明提出的一种基于用户偏好的实时视频摘要生成方法，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。

本发明提出的一种基于用户偏好的实时视频摘要生成方法，具体包括以下几个步骤：

步骤一：实时分析当前的视频帧序列S，S＝{f_i|p≤i≤q}，其中p和q分别表示视频帧序列S的第一帧和最后一帧，f_i表示视频帧序列S中的第i帧；令i＝p，从视频帧序列S中的第一帧开始，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤二：根据镜头渐变检测理论，设定阈值A，若第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A，则进入步骤三；否则返回步骤一，并令i为i+1，重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；

步骤三：(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中，j为视频帧序列S′中的任意一帧；

(2)从j＝1开始，计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值；

(3)若该相邻两帧的像素值差异值小于设定阈值B，监测阶段结束，获得的视频帧子序列S″，定义第j+1帧f_j+1为潜在视频分段边界，进入步骤四；否则返回步骤一，并令i为i+1，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤四：采用菱形运动向量算法，计算步骤三得到的视频帧子序列S″的累计运动向量，计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值C，则潜在的视频分段边界f_j+1帧为真实的视频边界；否则返回步骤一，并令i为i+1，重新计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤五：提取f_j+1为视频帧序列S的关键帧；