[发明专利]视频信号分析

说明书

技术领域

本发明涉及视频信号的分析。

背景技术

随着IP-CCTV系统在安保、安全和信息收集方面的广泛应用，每天都会产生大量的视频数据。例如，仅希思罗(Heathrow)机场就安装了超过6000个监视摄像机。为了处理这些海量的视频数据，急需设计出智能视频分析/理解算法，以有效地“过滤”输入的视频流，而只将与特定领域应用相关的物体/事件/行为信息传递给人类操作者，供其操作或者决策，包括异常事件检测、场景概要、浏览和理解等。

监视摄像机捕捉的视频数据是数据图像格式的，由不相关像素的集合来表示。有价值的信息往往埋没在这种无组织的数据中。为了更好地利用图像和图像序列，应以更加结构化的格式来表示视觉信息。对视觉信息管理这一问题的一种直接解决方案是基于内容的表达。基于内容的表达概述了图像数据的视觉有意义部分。这种表达更加容易被计算机和人来理解和使用。基于内容的表达通常是就探测到然后要追踪的视频对象(例如，人和车辆)而言的。然而，在分析拥挤的场景时或者当摄像机由于物理场地限制而不能顺利定位(例如，不是鸟瞰)时，这种表达模型通常会失效。诸如背景减除和blob(二进制大对象)跟踪的传统图像处理算法对分析这种场景也没有太大帮助。除了使用3D信息来消除阻挡[7]，还没有关于这类序列的文献。

因此，需要研究其他形式的表达，使得能够使用单目视频来探测关注事件。在本说明书中，我们将以视频形式探测关注事件的处理称为监视场景变化探测(SSCD)。SSCD旨在探测输入视频的相关变化，以提醒操作员进行干预，和/或使系统自动索引视频数据库。并且，提取关键帧来表示关注事件对于监视视频概况十分有用。

场景变化探测(SCD)的工作通常旨在对广播视频进行分析，广播视频通常是根据剧本拍摄并在工作室中进行后期处理。SCD是发现具有明显不同语义的视频场景之间的转换的处理。场景是用于表现视频情节的上下文连贯性的一组镜头(shot)。镜头或者摄像机转场(camera break)是在诸如切(cut)、淡入淡出(fade)、划(swap)的编辑效果之间的一组连续帧。场景可以包括许多不同的镜头或者几个镜头之间的随机交替。

然而，监视场景变化探测(SSCD)需要从不同角度来观察。SSCD同时取决于视觉场景的复杂性和执行的监视任务。与SCD相比，SSCD的目的是不同的：(例如，用静态摄像机)捕捉的物理场景设置通常是相同的，但是由于目标或快或慢的动态移动以及照明条件的变化，视频内容是不断变化的。

SSCD之前的工作主要是基于以对象为中心的分析范例，假定目标可以探测和追踪，并且该特定的视觉事件也是可以适当定义的。通常，事件是在由几个对象组成的简单场景中探测的，并且通过非常清晰的语义来表征(例如，从场景中去除对象/向场景中放置对象[9]，打开/关闭抽屉[4])。其他工作解决了具有已知语义的特定环境，例如Hauptmann等人解决了疗养院环境。在他们的工作中，在低密度场景中进行基于对象的分析，该低密度场景包含清晰且预定的语义，旨在首先识别个体(老人)，然后表征他们的活动。Stringa和Regazzoni展示了一套系统，用于探测场景中的永久变化，或者探测火车站的候车室中遗留的包裹[9]。而且，该工作表明，当场景变得更加拥挤或者复杂时，系统的性能具有下降的趋势，导致不可避免的故障。最后，在[2]中，Amer等人研究了内容无关事件识别，尽管场景只包含几个对象并且系统是基于追踪的。