[发明专利]基于帧间差分和颜色直方图差值的关键帧提取方法

说明书

本发明公开了基于帧间差分和颜色直方图差值的关键帧提取方法。该发明第一阶段基于帧间差分对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧。第二阶段计算候选关键帧中相邻两帧的颜色直方图差值，并设置阈值，去除相似的图像帧，得到最终的关键帧集合。与其他关键帧提取技术相比，该发明在保证关键帧集合的内容具有较高代表性的同时，显著降低了关键帧提取所需的时间，满足了实时性的要求，并尽可能减少集合中的冗余信息，使得关键帧帧数较少，进而降低后续目标识别、人流量统计等任务算法的时间复杂度。

技术领域

本发明属于视频检测技术领域，具体涉及基于帧间差分和颜色直方图差值的关键帧提取方法。

背景技术

随着智能终端、物联网等技术的快速发展，视频数据呈爆发式增长，依赖人工筛查的视频分析方法已无法满足实际的需要。一方面，速度慢，人工筛查的方法很难实时地处理大量的视频数据；另一方面，成本高昂，海量视频分析带来巨大的人力成本开销。如何借助计算机资源，从海量视频数据中提取我们感兴趣的内容，为目标识别、人流量统计等技术提供更为有效的数据，成为了当前需要解决的问题。

目前，典型的关键帧提取方法主要包括：基于抽样的方法，该方法较为简单且计算量小，但设置合适的抽样距离较为困难。基于镜头分割的方法，该方法将镜头的第一帧、最后一帧或中间帧提取为关键帧。基于目标运动的方法，采用流光法对所有视频帧进行运动值的度量，该方法计算量较大。基于聚类的方法，初始聚类中心，对所有视频帧进行聚类，将距离每一类类中心最近的视频帧作为关键帧。该方法中初始化聚类中心较为困难，且聚类算法计算量较大。基于图像特征，如颜色特征、纹理特征、局部特征等。该类方法通过特征计算图像帧间的相似度，之后利用设置阈值等方式对提取的相似帧去重，生成最终的关键帧集合。该类方法简单，但容易选取较多的冗余帧。

当前的研究多数基于镜头切换的视频，对固定摄像头的视频研究较少。其次，没有考虑到有目标识别等后续任务的关键帧提取需求。并且上述研究如聚类、流光法等方法计算量复杂，而抽样、图像特征等方法提取到的关键帧又存在冗余帧。因此，在关键帧提取的领域中，有两个基本的问题亟待解决：1)如何在保证关键帧集合具有较高代表性的同时，显著降低提取的时间，满足实时性的要求；2)如何在保证关键帧集合具有较高代表性的同时，关键帧的冗余信息要少，即关键帧帧数尽可能少，进而降低后续任务算法的时间复杂度。

发明内容

本发明的目的在于提供基于帧间差分和颜色直方图差值的关键帧提取方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

基于帧间差分和颜色直方图差值的关键帧提取方法，包括以下步骤：

步骤1：通过目标检测算法对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧；

步骤2：设置阈值，对候选关键帧进行筛选，去除相似的图像帧，得到最终的关键帧集合。

进一步的，步骤1中，采用基于帧间差分的目标检测算法对监控视频中含有运动目标的视频序列进行提取。

进一步的，步骤1具体为：

先将视频第一帧保存为候选关键帧。

提取相邻两个视频帧f_k(x,y,c)、f_k+1(x,y,c)，其中c表示图像通道；计算f_k(x,y,c)、f_k+1(x,y,c)中每个像素点差值的绝对值：

D_k(x,y,c)＝|f_k+1(x,y,c)-f_k(x,y,c)|