[发明专利]基于显著性区域的视频关键帧提取方法

说明书

本发明公开一种计算机图像处理和模式识别技术领域的基于显著性区域的视频关键帧提取方法，首先对视频数据进行采样转换，将视频转换为连续的帧图像序列，然后在每帧图像中利用频谱残差模型提取显著性区域，接着根据图像中显著性区域的面积将其排序，并对排序靠前的显著性区域进行颜色矢量化，最后在前后帧图像之间根据矢量化后的显著性区域进行相似性度量，根据相似度的大小确定视频关键帧。本发明提取出的关键帧图像序列，可以有效地保留视频的主要内容。

技术领域

本发明主要涉及计算机图像处理和模式识别技术领域，具体是一种基于显著性区域的视频关键帧提取方法。

背景技术

随着监控摄像头在现实生活中的大规模普及，监控视频得到了广泛地应用，监控视频的数据量也呈现指数级增长，从而对视频的存储、组织和查询提出了巨大的挑战。在安防监控领域，如何对海量的视频进行有效地组织、管理和查询，成为目前关注和研究的热点问题。

视频是由连续的帧所构成，一帧为一幅图像，每幅图像表达了视频中的某个片段或内容。由于相邻的帧具有时间和空间连续性，因此在帧图像序列中存在大量冗余的信息，不利于在视频中进行高效地分类和检索。针对上述问题，视频关键帧提取技术从视频中提取出多幅关键帧，通过这些关键帧表示视频包含的主要内容。传统的视频关键帧提取方法，分为基于镜头边界的方法、基于图像内容的方法、基于运动分析的方法、基于视频聚类的方法以及基于压缩域的方法等。

经对现有技术的文献检索发现，Xiaodi Hou等在文献“Saliency Detection:ASpectral Residual Approach”中采用傅里叶变换的方法获得图像的频域信息，接着利用频谱残差法在时域检测图像中的显著性区域，但是该方法尚未用于提取视频关键帧。罗元等在专利“一种视频关键帧提取方法”(申请号：CN201711165320.2，公开日：2018年3月27日)中使用Vibe算法和帧间差分法检测运动目标，然后使用全局特征峰值信噪比确定全局相似度，接着使用SURF特征判断局部相似度，最后综合两种相似度得到目标关键帧序列。该专利主要是从帧间差分法的角度提取关键帧序列，没有涉及前景目标和背景噪声的区分。类似地，强倩等在专利“一种视频关键帧提取算法”(申请号：CN201711047162.0，公开日：2018年3月23日)中使用帧间差分法提取关键帧。该方法首先计算某帧图像有效区域的大小，然后检测该区域的特征信息，并与前后帧相比较，最后通过计算帧间相似度提取关键帧。虽然该专利中检测了有效图像区域，但是只是采用逐行扫描的方法，没有区分潜在的前景目标和干扰的背景噪声。

发明内容

本发明针对现有技术存在的上述不足，提供了一种基于显著性区域的视频关键帧提取方法，通过在视频帧图像序列中利用频谱残差模型检测每帧图像中的显著性区域，确定潜在的前景目标，避免无关背景噪声的影响，通过判断前后帧图像中显著性区域的颜色相似度，滤除包含相似内容的视频帧图像，确定包含主要内容的关键帧图像，从而为基于内容的视频检索奠定基础。

本发明是通过以下技术方案来实现的，本发明具体为：

首先对视频数据进行采样转换，将视频转换为连续的帧图像序列；

然后在每帧图像中利用频谱残差模型提取显著性区域；

接着根据图像中显著性区域的面积将其排序，并对排序靠前的显著性区域进行颜色矢量化；

最后在前后帧图像之间根据矢量化后的显著性区域进行相似性度量，根据相似度的大小确定视频关键帧。

所述的对视频数据进行采样转换是指：视频是由一帧帧连续的图像所组成，根据视频包含的总帧数和帧率，设定视频采样频率，并根据采样频率将视频转换为一组连续的帧图像序列。

在视频数据中，总帧数为N_T，帧率为n_f，采样频率为n_s，则采样后的连续帧图像序列为其中