[发明专利]一种带有徘徊异常提示的分层视频摘要方法

摘要

本发明提供了一种带有徘徊异常提示的分层视频摘要方法，适合于视频监控场景下的海量视频快速浏览。步骤：利用高斯混合模型对输入视频进行背景训练和前景检测；基于前景对运动的行人进行跟踪，获取每个行人跟踪的数据集；针对行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算；最小化视频层次的能量函数，在每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；根据行人跟踪信息，进行运动轨迹的拟合及运动方向的判断；判断是否有徘徊行为发生；最小化行人层次的能量函数，从行人跟踪数据集中筛选出最具代表性的几张图片；将行人的多种信息融合到背景图像上，生成行人层次的摘要。

主权项

1.一种带有徘徊异常提示的分层视频摘要方法，其特征在于，所述方法将视频摘要分为视频层次和行人层次两个层次，行人层次的摘要具有徘徊异常提示的功能；所述方法包括以下步骤：第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据集；第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算，用于生成视频层次的能量函数；第三步：最小化第二步生成的能量函数，用于从第一步每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；第四步：根据第一步的行人跟踪的数据集，进行运动轨迹的拟合及运动方向的判断，用于生成行人层次的摘要信息；第五步：根据第一步的行人跟踪的数据集判断是否有徘徊行为发生；第六步：根据第一步的行人跟踪的数据集进行特征提取，包括空间分布、行人外表变化、图像亮度及碰撞程度，生成行人层次的能量函数，然后对其进行最小化，目的是从第一步的行人跟踪数据集中筛选出最具信息量的图片集合，用于生成行人层次的摘要信息；第七步：将第四步到第六步获得行人的多种信息融合到背景图像上，生成行人层次的摘要，该摘要具有徘徊异常提示的功能；所述第二步，具体为：让T＝{t₁,...,t_M}表示M个行人的跟踪数据集，其中表示行人X_i的跟踪数据集；让视觉注意力代表图像的重要性或吸引力：其中D(I_K,I_i)表示像素点I_K和I_i在Lab颜色空间的距离，area(X_jⁱ)表示图像X_jⁱ的面积，X_jⁱ代表视频中第i个行人的第j个跟踪结果；让代表图像的明暗程度：其中I_Y表示图像X_jⁱ的灰度图；表示图像亮度；让代表图像中是否有正脸检测到：