[发明专利]一种带有徘徊异常提示的分层视频摘要方法

权利要求书

1.一种带有徘徊异常提示的分层视频摘要方法，其特征在于，所述方法将视频摘要分为视频层次和行人层次两个层次，行人层次的摘要具有徘徊异常提示的功能；

所述方法包括以下步骤：

第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据集；

第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算，用于生成视频层次的能量函数；

第三步：最小化第二步生成的能量函数，用于从第一步每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；

第四步：根据第一步的行人跟踪的数据集，进行运动轨迹的拟合及运动方向的判断，用于生成行人层次的摘要信息；

第五步：根据第一步的行人跟踪的数据集判断是否有徘徊行为发生；

第六步：根据第一步的行人跟踪的数据集进行特征提取，包括空间分布、行人外表变化、图像亮度及碰撞程度，生成行人层次的能量函数，然后对其进行最小化，目的是从第一步的行人跟踪数据集中筛选出最具信息量的图片集合，用于生成行人层次的摘要信息；

第七步：将第四步到第六步获得行人的多种信息融合到背景图像上，生成行人层次的摘要，该摘要具有徘徊异常提示的功能；

所述第二步，具体为：

让T＝{t₁,...,t_M}表示M个行人的跟踪数据集，其中表示行人X_i的跟踪数据集；

让视觉注意力代表图像的重要性或吸引力：

其中D(I_K,I_i)表示像素点I_K和I_i在Lab颜色空间的距离，area(X_jⁱ)表示图像X_jⁱ的面积，X_jⁱ代表视频中第i个行人的第j个跟踪结果；

让代表图像的明暗程度：

其中I_Y表示图像X_jⁱ的灰度图；表示图像亮度；

让代表图像中是否有正脸检测到：

2.根据权利要求1所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第三步中，所述最小化视频层次的能量函数，其中图像特征总能量表示为

其中：表示从第一步每个行人跟踪集合中挑选一张代表性图片的集合，表示第i个行人跟踪集合中第t_i张图像被选中，M表示输入视频中的行人数量，表示图像视觉注意力，表示图像亮度，表示图像中是否有正脸检测到，0＜α,β,γ＜1，α+β+γ＝1。

3.根据权利要求2所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第三步中，所述融合到背景图像上，其中图像间重叠程度表示为：

其中：表示从第一步每个行人跟踪集合中挑选一张代表性图片的集合，表示第i个行人跟踪集合中第t_i张图像被选中，M表示输入视频中的行人数量。

4.根据权利要求3所述的带有徘徊异常提示的分层视频摘要方法，其特征在于，第三步中，所述视频层次，其能量函数表示为:

E(L)＝E_Δ(L)+λE_Ω(L)

其中：E_Δ(L)表示第四步中图像特征总能量，E_Ω(L)表示图像重叠程度，表示从第一步每个行人跟踪集合中挑选一张代表性图片的集合，表示第i个行人跟踪集合中第t_i张图像被选中，M表示输入视频中的行人数量，λ＞0用于衡量E_Δ(L)与E_Ω(L)之间的重要程度。