[发明专利]一种基于超像素分割的视频摘要生成方法

说明书

本发明公开了一种基于超像素分割的视频摘要生成方法，视频边界的分割以粗到细的方式完成，分割边界倾向于局部最小运动区域，使边界对齐到适合于切割的位置的部分，提取视频的分割边界作为所提取的关键帧，表示动作序列之间的重要活动被提取，代表视频的有效信息，能够大幅度降低视频的运算量与复杂度，对于提高视频分析的实时性有显著影响；采用超像素区域合并的方法将具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块，通过像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，降低了后续图像处理任务的复杂度；利用像素之间的空间组织关系进行图像的相似性计算以消除冗余关键帧生成视频摘要，且视频摘要效果较好。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于超像素分割的视频摘要生成方法。

背景技术

视频摘要技术的研究最早开始于1994年卡耐基梅隆大学的Informedia工程。从那以后，越来越多地研究人员加入进来，对视频摘要相关方面的技术进行了研究和探索，总体来说，目前视频摘要技术按照输出的摘要形式，常见的视频摘要生成算法主要有数据聚类法、曲线规划法和机器学习法。

现有技术中，IEEE International Conference on Acoustics,Speech andSignal Processing.IEEE,2014:1260-1264.公开把原始视频分解为图像序列后，提取每一帧图像的颜色矩特征，并把视频分为若干个镜头，接着采用基于粗糙集理论的谱聚类算法对镜头聚类。但该类算法存在缺陷：第一，绝大多数的聚类算法都需要预先设定聚类的数目，为了得到最优的聚类数目，往往需要不断的反复实验。而且最优的聚类数目是动态变化的，和输入的原始视频的长度和类型都有关系，导致算法必须在人工干预的情况下执行。第二，提取的特征是否具有代表性往往会影响聚类效果。仅提取了图像的颜色特征，忽略了图像的形状和纹理等特征，而单特征不能全面的表达图像的视觉信息。

Proceedings of IEEE International Conference on Multimedia andExpo.Washington DC,USA:IEEE,2005:670-673中，把原始视频分解为图像序列后，计算出帧与帧之间的像素差，并把像素差拟合成曲线，为了简化曲线，把折线划分为一个折线的集合，并把相关性小的点从集合中删除。曲线规划法使用坐标系中的曲线来直观的表现视频内容，可以简化对视频的处理，然而该方法只可以反映视频内容的变化，不可以完整的表达语义信息。

Nature and Biologically Inspired Computing.IEEE,2011:7-11中，利用SVM对足球视频中的回放标志进行训练和学习，识别回放镜头，进球事件的产生对应在回放标志之前依次出现停止、近镜头、观众镜头、球门区域和音频兴奋等场景，而在回放标志后则会出现长镜头、得分板等场景。通过检测到的回放镜头并判断其前后场景是否符合上述事实从而来进行足球视频语义事件监测。机器学习法建立模型在绝大多数的情况下都需要人工参与辅助建模，并且该方法对建模时的特征选取较为敏感，如果选取了合适的特征，采用机器学习法可获得符合人类认知的高级语义信息。反之，不适当的特征选取将使学习结果不尽人意。

发明内容

本发明的目的在于提供一种基于超像素分割的视频摘要生成方法，能够大幅度降低视频的运算量与复杂度，对于提高视频分析的实时性有显著影响。

本发明采用的技术方案为，一种基于超像素分割的视频摘要生成方法，具体按照以下步骤实施：

步骤1、获取视频图像，并将视频图像作为输入数据，提取视频图像帧序列；

步骤2、对视频图像帧序列进行初始等长分割，分割成多个等长帧序列；

同时，计算视频图像帧序列的光流，并使用视频图像帧序列之间的光流位移估算作为时间函数的运动幅度；