[发明专利]一种多特征融合的视频摘要生成方法

权利要求书

1.一种多特征融合的视频摘要生成方法，其特征在于，包括以下步骤：

步骤1，获取视频并将视频作为输入数据；

步骤2，对输入的视频数据进行片段的分割，记录分割点和视频片段的个数；

步骤3，提取每个视频片段中的视频帧和视频帧中心块；

步骤4，获取提取的视频帧和视频帧中心块进行特征和图像质量的计算；

步骤5，根据得到的特征进行全局重要性和局部重要性的计算；

步骤6，对得到的每一帧的全局重要性和局部重要性进行融合得到融合重要性；

步骤7，根据分割点对每个视频片段进行重要性的计算；

步骤8，根据得到的每个视频片段的重要性和设定阈值，对视频片段进行选择，选出一个优化的视频片段子集；

步骤9，根据选出的视频片段子集进行视频摘要的合成；

步骤5中的全局重要性I_G_k的计算公式为：

其中，k为视频帧的索引值，f_{G_1}～f_{G_9}分别为基于视频帧的9个特征的值；

步骤5中的局部重要性I_L_k的计算公式为：

其中，k为视频帧的索引值，f_{L_1}～f_{L_9}分别为基于视频帧中心块的9个特征的值；

步骤7所述的每个视频片段重要性包括视频片段的融合重要性之和I_C、视频片段的平均融合重要性I_j，

其中，k为视频帧的索引值，I_G_kL_k为每一帧的融合重要性，i表示第i个分割点，next_i为下一个分割点；

所述步骤8通过式(13)选择优化的视频片段子集：

其中，N指的是视频片段的总数，{1,0}是一个决策函数，用来判断某个视频片段是否被选择出来作为视频摘要的一部分，如果选择出来作为视频摘要的一部分，该函数的值为1，否则为0。

2.根据权利要求1所述的方法，其特征在于，所述步骤2中对输入的视频使用超帧分割的方法通过计算视频的前景、背景和运动信息将视频分割成若干小的视频片段，得到分割点和视频片段的个数。

3.根据权利要求1所述的方法，其特征在于，所述步骤3中对于视频帧中心块的提取的过程为：对视频帧平均分成5x5的块，然后提取出中心部分的3x3的中心块。

4.根据权利要求1所述的方法，其特征在于，步骤4中计算的特征包括视觉显著性f₁、曝光度f₂、色度f₃、饱和度f₄、Rule ofthirds的三个特征值f₅,f₆,f₇、对比度f₈、方向度f₉，步骤4中计算的图像质量包括视频帧的图像质量和视频帧中心块的图像质量其中

其中，A_S为静态显著性，A_T为时间显著性，γ为一个非负的经验性参数；

其中，X、Y分别为提取的视频图像转换为HSV图像的长度和宽度，x_v、y_v分别为通道V中的像素位置，I_V(x_v,y_v)为HSV图像的V通道；

其中，x_s、y_s分别为通道S中的像素位置，I_S(x_s,y_s)为HSV图像的S通道；

其中，x_h、y_h分别为通道H中的像素位置，I_H(x,y)为HSV图像的H通道；

采用Tamura纹理特征计算对比度、方向度；

通过无参考图像的图像质量评价方法获取视频帧的图像质量q_Gk和视频帧中心块的图像质量q_Lk。