[发明专利]一种基于用户偏好的实时视频摘要生成方法

摘要

本发明提出了一种基于用户偏好的实时视频摘要生成方法，具体包括：步骤一：计算颜色直方图和像素值联合差异值；步骤二：判断相邻两帧的图像特征是否发生明显变化；步骤三：计算颜色直方图和像素值联合差异值；步骤四：得到潜在视频分段边界；步骤五：设置视频帧序列的关键帧；步骤六：利用最优帧更新关键帧；步骤七：建立高斯混合模型，得到关键帧作为实时视频摘要结果。本发明提出的一种基于用户偏好的实时视频摘要生成方法，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。

主权项

1.一种基于用户偏好的实时视频摘要生成方法，其特征在于：具体包括以下几个步骤：步骤一：实时分析当前的视频帧序列S，S＝{f_i|p≤i≤q}，其中p和q分别表示视频帧序列S的第一帧和最后一帧，f_i表示视频帧序列S中的第i帧；令i＝p，从视频帧序列S中的第一帧开始，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；步骤二：根据镜头渐变检测理论，设定阈值A，若第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A，则进入步骤三；否则返回步骤一，并令i为i+1，重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；步骤三：(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中，j为视频帧序列S′中的任意一帧；(2)从j＝1开始，计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值；(3)若该相邻两帧的像素值差异值小于设定阈值B，监测阶段结束，获得的视频帧子序列S″，定义第j+1帧f_j+1为潜在视频分段边界，进入步骤四；否则返回步骤一，并令i为i+1，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；步骤四：采用菱形运动向量算法，计算步骤三得到的视频帧子序列S″的累计运动向量，计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值C，则潜在的视频分段边界f_j+1帧为真实的视频边界；否则返回步骤一，并令i为i+1，重新计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值；步骤五：提取f_j+1为视频帧序列S的关键帧；步骤六：将视频帧序列S在f_j+1帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的信息富有程度G_u、熵值E_u和亮度值L_u，将信息富有程度、熵值和亮度值进行归一化，得到均一化值，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧f_j+1帧；步骤七：实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型分析用户对于关键帧的偏好；其中k是高斯模型组件N(μ_m，σ_m)的个数，μ_m为每个高斯分布的均值和σ_m为每个高斯分布的方差，N(μ_m，σ_m)表示高斯分布；α_m是混合概率，Θ是建立的高斯混合模型的参数空间，R_X表示分布函数，k表示高斯混合模型中高斯分布的总个数，m表示其中任意一个高斯分布；采用期望最大值计算方法，通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧。