[发明专利]一种基于超像素分割的视频摘要生成方法

摘要

本发明公开了一种基于超像素分割的视频摘要生成方法，视频边界的分割以粗到细的方式完成，分割边界倾向于局部最小运动区域，使边界对齐到适合于切割的位置的部分，提取视频的分割边界作为所提取的关键帧，表示动作序列之间的重要活动被提取，代表视频的有效信息，能够大幅度降低视频的运算量与复杂度，对于提高视频分析的实时性有显著影响；采用超像素区域合并的方法将具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块，通过像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，降低了后续图像处理任务的复杂度；利用像素之间的空间组织关系进行图像的相似性计算以消除冗余关键帧生成视频摘要，且视频摘要效果较好。

主权项

1.一种基于超像素分割的视频摘要生成方法，其特征在于，具体按照以下步骤实施：步骤1、获取视频图像，并将视频图像作为输入数据，提取视频图像帧序列；步骤2、对视频图像帧序列进行初始等长分割，分割成多个等长帧序列；同时，计算视频图像帧序列的光流，并使用视频图像帧序列之间的光流位移估算作为时间函数的运动幅度；步骤3、针对每个等长帧序列，通过时间函数的运动幅度寻找初始等长分割边界帧局部梯度值最小的帧作为关键帧；步骤4、对每幅关键帧图像中的像素进行局部聚类，采用像素之间特征的相似度对关键帧图像进行超像素分割，得到多个超像素；步骤4的具体过程为：步骤4.1、将每幅关键帧形成图像转换为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造度量标准：假设图像有N个像素点，预分割为K个相同尺寸的超像素，每个超像素的大小为N/K，选定每个预分割的超像素中心点为种子点，每两个种子点的距离近似为步骤4.2、以种子点为中心划分3×3的窗口，将该种子点移动至梯度值最小的位置，同时为每个种子分配一个单独的标签；步骤4.3、对于每个像素，分别计算与之距离最近的各种子点的相似程度，将最相似种子点的标签赋给该像素，具有相同标签的像素组成一个超像素；步骤5、对多个超像素进行区域合并，得到超像素区域合并图像；步骤6、对相邻两幅超像素区域合并图像进行相似性度量，判断相邻两幅超像素区域合并图像是否相似；步骤7、删除相邻相似超像素区域合并图像中的一个，将剩余的超像素区域合并图像组合后生成视频摘要。