[发明专利]基于显著性区域的视频关键帧提取方法

权利要求书

1.基于显著性区域的视频关键帧提取方法，其特征在于，具体包括如下步骤：

步骤一、对视频数据进行采样转换，将视频转换为连续的帧图像序列；

步骤二、在每帧图像中利用频谱残差模型提取显著性区域；

步骤三、根据图像中显著性区域的面积将其排序，并对排序靠前的显著性区域进行颜色矢量化；

根据显著性区域的面积，在图像中将显著性区域按照从大到小的顺序进行排序，利用排序靠前的多个显著性区域，就可以判断前后帧图像的相似性，针对每个显著性区域，分别在R、G、B三个通道进行颜色矢量化，生成对应的颜色矢量，具体步骤包括：

1)在第i帧图像I_i中，提取到的显著性区域表示为其中是图像I_i中第r个显著性区域，对显著性区域S_i按照面积从大到小的顺序进行排序，取出排序靠前的前z个显著性区域S′_i，表示为

2)对显著性区域S′_i中第r个显著性区域分别在R、G、B三个通道、灰度值为0到255的区间内进行直方图统计，生成对应的颜色矢量和进而生成与第r个显著性区域对应的颜色矢量相应地，显著性区域S′_i对应的颜色矢量

步骤四、在前后帧图像之间根据矢量化后的显著性区域进行相似性度量，根据相似度的大小确定视频关键帧；

在前后帧图像之间通过显著性区域对应的颜色矢量进行相似性度量，如果相似度较小，则前后帧图像包含的内容差异较大，可以确定为关键帧，反之，如果相似度较大，则前后帧图像包含的内容差异较小，从帧图像序列中剔除，在所有帧图像中完成相似性度量后，剩余的帧图像即为视频对应的关键帧序列，具体步骤包括：

1)为了判断第i帧图像I_i和第i+1帧图像I_i+1的内容相似度，在它们对应的颜色矢量V_i和V_i+1之间进行余弦相似性度量，由于矢量V_i由z个分矢量所组成，进而矢量V_i和V_i+1之间的相似性度量就转化为z个对应分矢量和之间的相似性度量，可以表示为

2)在z个对应分矢量和相似性度量完成后，可以得到z个相似性度量值，如果相似度较大，则说明前后帧图像中的显著性区域和包含的内容相似，如果相似度较小，则说明和包含的内容差异较大，对于帧图像I_i和I_i+1之间的整体相似度，取z个相似度中的最小值，可以表示为从而可以反映出前后帧图像包含内容的差异性；

3)在计算出帧图像I_i和I_i+1之间的整体相似度后，设定相似度阈值T，如果sim(I_i,I_i+1)≤T，则说明I_i和I_i+1包含的内容差异较大，I_i和I_i+1均保留为关键帧图像，如果sim(I_i,I_i+1)T，则说明I_i+1与I_i包含的内容相似度较高，I_i保留为关键帧图像，而I_i+1从帧图像序列中剔除，当依次遍历所有的帧图像后，即可最终确定视频的关键帧图像序列。

2.如权利要求1所述的基于显著性区域的视频关键帧提取方法，其特征在于，在步骤一种，根据视频包含的总帧数和帧率，设定视频采样频率，并根据采样频率将视频转换为一组连续的帧图像序列；在视频数据中，总帧数为N_T，帧率为n_f，采样频率为n_s，则采样后的连续帧图像序列为其中

3.如权利要求1所述的基于显著性区域的视频关键帧提取方法，其特征在于，在步骤二中，对每帧图像在频域内进行傅里叶变换，计算得出频谱残差，进而在时域内根据傅里叶反变换提取图像中的显著性区域，具体步骤包括：

1)在频域内对第i帧图像I_i进行傅里叶变换，得出变换后的幅度谱A(f)和相位谱P(f)，其中进而计算出对数幅度谱L(f)，其中L(f)＝log(A(f))；

2)设定一个n*n的局部均值滤波器h_n(f)，与对数幅度谱L(f)进行卷积，进而计算出频谱残差R(f)，其中R(f)＝L(f)-h_n(f)*L(f)；

3)在时域内对频谱残差R(f)进行傅里叶反变换，并采用高斯滤波器g(x)进行平滑，从而得出图像I_i对应的显著性区域S_i，其中