[发明专利]跨摄像头视频摘要提取方法

摘要

本发明涉及视频处理、内容分析和检索。为用户提供一个精简但内容完整的视频提纲，本发明采取的技术方案是，跨摄像头视频摘要提取方法，包括下列步骤：(1)预处理：视频镜头分割、关键帧提取及显著性表示；(2)跨摄像头视频镜头网络构建和分析；(3)基于用户需求的跨摄像头视频摘要生成；本发明主要应用于视频处理、内容分析和检索。

主权项

1.一种跨摄像头视频摘要提取方法，其特征是，包括下列步骤：(1)预处理：视频镜头分割、关键帧提取及显著性表示：利用图像的视觉特征和无监督聚类方法将各摄像头采集的视频分别进行镜头分割和关键帧提取；通过背景建模和运动区域提取衡量各镜头的运动强度，保留运动强度足够明显的镜头作为视频摘要的候选；提取视频关键帧的颜色、纹理和形状特征并构建数学模型来计算候选镜头各独立特征的重要性，最后采用线性方式融合多特征重要性，从而形成视频镜头显著性表示；(2)跨摄像头视频镜头网络构建和分析：以跨摄像头视频镜头网络来表征所提取的各视频的候选镜头的时间和空间的关联，其中，每个节点S_ij及视频片段表示第i个摄像头采集的视频中的第j个镜头，各节点数值表示镜头显著性，节点间的连线表示二者相关联，并且关联强度由两镜头的相似性度量，在上述视频镜头分割及显著性表示的基础上，得到所需构建网络的各节点及其重要性，跨摄像头视频镜头网络构建和分析的核心问题转化为相似镜头集团的发现，由如下两步骤实现：1)节点间关联强度的计算：计算并融合镜头间的两类相似性从而度量两个镜头的相似性：a.时序关联性：不同视频中时序相近的镜头更可能包含视觉相近的视频内容，因而相似性越高；b.视觉相似性：具有相近低层视觉描述的镜头相似度越高；2)跨摄像头视频镜头网络解耦：采用自顶向下的网络集团分析法进行跨摄像头视频镜头网络分解；(3)基于用户需求的跨摄像头视频摘要生成：视频摘要提取方法为：对于包含n个镜头的镜头集团Cs，最终生成的视频摘要是否包含某个镜头由标记向量x＝{x₁，K，x_iK，x_n}表示，其中x_i为1时表示该镜头被保留，x_i为0时表示该镜头被去除，定义上述多目标优化问题目标函数为：x*=argmaxx{-α1gn(f1(x))+α2gn(f2(x))}]]>s.t.f(x)≤Fmaxs(x)≥Smin]]>其中：表示摘要总长，F_i表示镜头i对应帧数；表示视频内容显著度，S_i表示镜头i显著性；F_max和S_min分别表示视频摘要生成时限定的最大长度和最小显著性；n(g)表示归一化操作，本发明不失一般性的采用向量线性归一化；系数α_i用于满足不同需求的动态摘要生成，由用户自由指定，上述多目标优化问题为典型的整数规划问题，采用整数规划算法求解。