[发明专利]一种复杂场景下可靠的视频摘要生成方法

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种复杂场景下可靠的视频摘要生成方法。

背景技术

现代社会中，视频监控系统在各行各业中发挥着越来越重要的作用，公安、消防、交通、工业生产等部门对公共场所的视频监控的需求尤为迫切，视频监控系统已成为维护社会治安、加强社会管理以及安全生产的一个重要组成部分。监控摄像头的数量正在快速的增长，每天都会产生海量的监控视频数据，这导致通过监控视频寻找线索会耗费大量人力、物力和时间，降低了监控视频的有效利用率。根据ReportLinker公司统计，在2011年，全世界拥有超过1.65亿个监控摄像机，产生1.4万亿个小时的监控数据，假如有20％的重要监控视频数据需要人工观看，则需要雇佣超过1亿的劳动力(每天工作8小时，每年工作300天)。因此，在视频监控系统中，使用户快速浏览整个视频，迅速锁定检索对象，对于提高海量监控视频的利用率有重大意义。

在图像处理领域，为了提高视频的浏览效率，可采用视频摘要技术，将视频中用户感兴趣的内容提取出来，然后将它们以紧凑的方式重新安排，从而生成简短的视频。为了能够自动的提取视频中用户感兴趣的内容，最简单的方法是提取原始视频中的关键帧，来构成视频摘要(参考文献：查德威克凯姆等.一种基于目标的视频摘要整体方案，第八届计算机协会多媒体国际会议汇刊，(2000)303-311.(Kim，C.，Hwang，J.N.：An integrated scheme for object-based video abstraction.In：Proceedings of the eighth ACM international conference on Multimedia.(2000)303-311))，但是关键帧无法完整的描述整段视频，会造成视频中重要信息的丢失，而且由于视频内容种类繁多，如何选择合适的关键帧是一个难题。另一种方法是先对视频内容进行分析，提取原始视频中运动目标的相关信息，然后将提取出的运动信息紧凑地安排，生成视频摘要(参考文献：雅艾尔普瑞奇等.非时序视频摘要与索引，IEEE模式分析与机器智能汇刊，(2008)1971-1984.(Pritch，Y.，Rav-Acha，A.，Peleg，S.：Nonchronological video synopsis and indexing.IEEE Trans.Pattern Anal.Mach.Intell.30(2008)1971-1984))，这种方法能够较好的保留视频的动态内容。对于这种方法来说，问题的关键在于如何准确地提取用户感兴趣的所有事件。

对于监控视频来说，监控视频的拍摄场景非常复杂：有的场景车辆多，运动速度快，如高速公路；有的场景行人多，并且常出现互相遮挡的现象，如火车站或十字路口；有的场景中，运动目标在画面上所占像素面积很小，等等；场景的复杂性为运动目标的准确检测带来很大的挑战。目前的视频摘要技术并不能很好地解决复杂场景中运动目标的检测问题，常常使得运动目标的漏检率非常高，无法准确提取视频中的重要事件，从而致使生成的视频摘要漏掉原始视频中的重要信息。

发明内容

视频摘要技术对于海量监控视频的有效利用具有重大意义和广阔市场前景，但现有的视频摘要技术不能有效解决复杂场景中出现弱小目标、目标相互遮挡粘连等情况，为了对监控视频进行快速浏览，降低复杂场景中运动目标事件提取的漏检率和错检率，降低运动目标在轨迹生成过程中跟踪出错、跟踪丢失目标的概率，并消除用户对现有视频摘要技术的顾虑.

本发明提出了一种复杂场景下可靠的视频摘要生成方法，其包括：

步骤1、对获取的视频进行背景建模，获得视频序列中当前帧的运动前景；

步骤2、利用上一帧跟踪过程中计算得到的预测信息，选择合适的目标检测器对当前帧的运动前景进行目标分类和检测，获得运动目标的类型和检测结果；

步骤3、根据所获得的运动目标的类型和检测结果，利用多目标跟踪方法，计算当前帧中运动目标的运动轨迹，并据此来计算下一帧的预测信息，并转步骤2进行下一帧的检测，直至检测完毕所有视频图像帧；

步骤4、根据获得的所有运动目标的运动轨迹和类型，生成视频摘要。

其中，步骤1中还对获得的当前视频图像帧的运动前景进行后处理，具体包括：

步骤11、使用形态学结构元素，对前景目标进行形态学开运算和形态学闭运算，获得轮廓光滑的前景，并消除面积较小的噪声点，缩小面积较大的噪声点；