[发明专利]跨摄像头视频摘要提取方法

说明书

技术领域

本发明涉及视频处理、内容分析和检索，具体讲涉及跨摄像头视频摘要提取方法。

背景技术

视频摘要技术可以有效去除不包含显著视频语义事件的视频片段并压缩用户感兴趣的视频片段，从而将长时的视频数据的主要内容用精简的视频片段进行表征，对于实现快速视频浏览、检索和降低存储需求具有重要意义。现有的视频摘要技术多是针对单目摄像头采集的视频内容进行自动分析。但是当面对带有重叠区域的多摄像头采集的海量视频时，仅仅将现有技术应用于各个独立摄像头采集视频进行视频摘要时忽略了各摄像头采集视频内容的时间和空间的关联特性以及内容的重复性，因此现有方法并不能有效去除多摄像头冗余视频内容。

发明内容

为克服现有技术的不足，并为用户提供一个精简但内容完整的视频提纲，本发明采取的技术方案是，跨摄像头视频摘要提取方法，包括下列步骤：

(1)预处理：视频镜头分割、关键帧提取及显著性表示：

利用图像的视觉特征和无监督聚类方法将各摄像头采集的视频分别进行镜头分割和关键帧提取；通过背景建模和运动区域提取衡量各镜头的运动强度，保留运动强度足够明显的镜头作为视频摘要的候选；提取视频关键帧的颜色、纹理和形状特征并构建数学模型来计算候选镜头各独立特征的重要性，最后采用线性方式融合多特征重要性，从而形成视频镜头显著性表示；

(2)跨摄像头视频镜头网络构建和分析：

以跨摄像头视频镜头网络来表征所提取的各视频的候选镜头的时间和空间的关联，其中，每个节点S_ij及视频片段表示第i个摄像头采集的视频中的第j个镜头，各节点数值表示镜头显著性，节点间的连线表示二者相关联，并且关联强度由两镜头的相似性度量，在上述视频镜头分割及显著性表示的基础上，得到所需构建网络的各节点及其重要性，跨摄像头视频镜头网络构建和分析的核心问题转化为相似镜头集团的发现，由如下两步骤实现：

1)节点间关联强度的计算：计算并融合镜头间的两类相似性从而度量两个镜头的相似性：a.时序关联性：不同视频中时序相近的镜头更可能包含视觉相近的视频内容，因而相似性越高；b.视觉相似性：具有相近低层视觉描述的镜头相似度越高；

2)跨摄像头视频镜头网络解耦：采用自顶向下的网络集团分析法进行跨摄像头视频镜头网络分解；

(3)基于用户需求的跨摄像头视频摘要生成：

视频摘要提取方法为：对于包含n个镜头的镜头集团C_s，最终生成的视频摘要是否包含某个镜头由标记向量x＝{x₁，K，x_iK，x_n}表示，其中x_i为1时表示该镜头被保留，x_i为0时表示该镜头被去除，定义上述多目标优化问题目标函数为：

x*=argmaxx{-α1gn(f1(x))+α2gn(f2(x))}]]>