[发明专利]一种基于故事情节的视频摘要提取方法

权利要求书

1.一种基于故事情节的视频摘要提取方法，其特征在于，包括以下步骤：

步骤A、对原始视频进行关键帧、镜头以及场景检测；

步骤B、根据视频故事情节从场景中检测出精彩场景； 

步骤C、根据实际情况从精彩场景中选择摘要片段，并按照时序进行拼接，生成原始视频的摘要。

2.如权利要求1所述基于故事情节的视频摘要提取方法，其特征在于，所述精彩场景的检测包括：

对话场景检测：首先依据人脸信息检测出含有交替出现的人脸镜头的场景，作为候选对话场景；然后，从候选对话场景中选出包含语音的场景，即为对话场景； 

动作场景检测：一个场景同时满足下列三个条件时，则将该场景视为动作场景：该场景中每个镜头的帧数小于25，每个镜头的平均活跃强度超过200，且每个镜头的平均音频能量超过100；

悬疑场景检测：当一个场景同时满足下列三个条件时，则该场景为悬疑场景：该场景的平均光照强度小于50；该场景开始某几个镜头的音频能量包不超过5，且某两个连续镜头的音频能量包变化超过50；该场景开始几个镜头的活跃强度不超过5，且某两个连续镜头的活跃强度变化超过100。

3.如权利要求2所述基于故事情节的视频摘要提取方法，其特征在于，所述对话场景检测还包括情感对话场景的检测：分别提取各对话场景的平均的基音频率和短时的强度变化，选择两者均大于预设阈值的对话场景，即为情感对话场景。

4.如权利要求2所述基于故事情节的视频摘要提取方法，其特征在于，所述动作场景检测还包括：

枪战场景检测：选择橙、黄、红三种颜色特征均大于预设阈值的动作场景作为枪战场景；

打斗场景检测：选择包含吼叫声音频特征的动作场景作为打斗场景；

追逐场景检测：选择包含摩擦声和尖叫声音频特征的动作场景作为追逐场景。

5.如权利要求1-4任一项所述基于故事情节的视频摘要提取方法，其特征在于，所述步骤C具体包括以下各子步骤：

步骤C1、按照以下公式计算任意两个精彩场景间的演变强度：                                                

式中，表示两个不同场景和之间的演变强度，TT_n(AS_u, AS_v)、ST_n(AS_u, AS_v)、RT_n(AS_u, AS_v)分别是和之间的时域变换强度TT(AS_u, AS_v)、空间变换强度ST(AS_u, AS_v)、周期转换强度RT(AS_u, AS_v)的归一化形式，α、β、γ为满足α+β+γ=1的权重系数；其中，

时域变换强度TT(AS_u, AS_v)的计算公式为：

式中，N(AS_u, Sh_l, Kf_p)是场景AS_u内最后一个镜头l中关键帧p里出现的人脸数目, N(AS_v, Sh_w, Kf_q)是场景AS_v内第一个镜头w中关键帧q里出现的人脸数目，P、Q分别为镜头l 和w中的关键帧数目；

空间变换强度ST(AS_u, AS_v)的计算公式为：

式中，RA(p)、GA(p)、BA(p) 和 LA(p)分别表示场景AS_u内最后一个镜头l中关键帧p的背景区域中红、绿、蓝以及亮度的平均值，RA(q)、GA(q)、BA(q) 和LA(q) 分别表示场景AS_v内第一个镜头w中关键帧q的背景区域中红、绿、蓝以及亮度的平均值，P、Q分别为镜头l 和w中的关键帧数目；

周期转换强度RT(AS_u, AS_v)的计算公式为：

式中，为场景AS_u内第m个镜头所包含的帧数，为场景AS_v内第n个镜头所包含的帧数，、分别为场景AS_u、场景AS_v中的镜头数目；

步骤C2、将演变强度从大到小进行排序，选择最大的前K个演变强度所对应的所有精彩场景作为备选摘要片段；K的值小于或等于步骤B所检测出的精彩场景的总数；

步骤C3、从备选摘要片段中选择出最终的摘要片段，按照时序进行拼接，生成原始视频的摘要。