[发明专利]一种带有徘徊异常提示的分层视频摘要方法

说明书

本发明提供了一种带有徘徊异常提示的分层视频摘要方法，适合于视频监控场景下的海量视频快速浏览。步骤：利用高斯混合模型对输入视频进行背景训练和前景检测；基于前景对运动的行人进行跟踪，获取每个行人跟踪的数据集；针对行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算；最小化视频层次的能量函数，在每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；根据行人跟踪信息，进行运动轨迹的拟合及运动方向的判断；判断是否有徘徊行为发生；最小化行人层次的能量函数，从行人跟踪数据集中筛选出最具代表性的几张图片；将行人的多种信息融合到背景图像上，生成行人层次的摘要。

技术领域

本发明属于计算机视频处理技术领域，具体为一种带有徘徊异常提示的分层视频摘要方法，适合于视频监控场景下的海量视频快速浏览。

背景技术

随着社会的不断发展，视频数据正在以爆炸性的方式增长，这使得快速了解视频内容变得越来越困难。特别是在监控视频场景下，海量的监控视频数据被摄像头每天24小时不间断地记录下来。此外，异常事件的发生都带有不频繁和时间短的特点，这使得从海量视频数据中找出感兴趣的视频或事件变得更加困难。目前，计算机视觉技术在智能视频监控中发挥着越来越重要的作用。在海量视频快速浏览方面，视频摘要技术能将每段视频的内容进行浓缩概括，从而极大地节省浏览者的时间，提高工作效率。

目前在视频监控领域，视频摘要方法主要分为基于视频整体内容和基于个人信息两大类。基于视频整体内容的方法仅仅将原视频中重要的信息浓缩成一段时间很短的视频，这使得浏览者能够快速知道原始视频的主要信息(参见：Yael Pritch,Alex Rav-Acha,and Shmuel Peleg,“Nonchronological Video Synopsis and Indexing,”IEEETransactions on Pattern Analysis and Machine Intelligence,vol.30,no,11,pp.1971-1984,2008)，但是这类方法面临如下两个问题：1)无法快速知道视频中感兴趣对象的详细信息2)对于视频中的异常事件例如徘徊行为并没有做出提示。基于个人活动信息的方法(Fu,Wei and Wang,Jinqiao and Zhao,Chaoyang and Lu,Hanqing and Ma,Songde,“Object-centered narratives for video surveillance”in InternationalConference on Image Processing(ICIP),2012,pp.29-32)只能提取出感兴趣行人的信息，一方面提取的信息并没有包含对异常的提示例如徘徊行为，另一方面对于视频的主要内容并没有进行概括。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种新的视频摘要方法---带有徘徊异常提示的分层次视频摘要方法，不仅可以快速地了解原始视频的内容，而且还能查看感兴趣行人的各种具体信息。

本发明是通过以下技术方案实现的，本发明将视频摘要分为视频层次和行人层次两个层次，而且行人层次的视频摘要具有徘徊异常提示的功能。视频层次的摘要浓缩概括了原始视频的主要内容，行人层次的摘要反映了行人的多种信息，包括运行轨迹、运动方向、行为变化及是否有徘徊行为等。浏览者不仅可以快速地了解原始视频的内容，而且还能查看感兴趣行人的各种具体信息，从而不仅可以快速地了解原始视频的内容，而且还能查看感兴趣行人的各种具体信息。

具体地，所述方法包括以下步骤：

第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据集。

第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计算和视觉注意力计算，用于生成视频层次的能量函数；

第三步：最小化第二步生成的能量函数，在第一步每个行人数据集中筛选出一个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；