[发明专利]用于处理视频数据的方法及系统

说明书

技术领域

本发明涉及用于处理视频数据的方法及系统，具体地，但非专门地涉及一种在智能视频系统中用于处理视频数据的方法及系统。

背景技术

智能视频系统在本领域中是公知的。通常，这种系统接收视频帧作为输入，并试图使用背景减去技术以从图像内的背景中区分出感兴趣的对象(例如，运动对象等)，来检测该图像内感兴趣的对象。也可以使用其他技术，例如基于运动的检测技术。检测到单个输入帧内的对象之后，该系统还可以用于使用检测到的对象的某些特有特征逐帧地跟踪该检测到的对象。

典型的智能视频系统包括多个处理阶段，如图1所示。在背景学习阶段1中，使用视频数据的初始片段建立背景模型。由于与前景中的对象相比，背景场景通常保持静止，因此该阶段生成在其中不应看到任何运动的前景对象的背景模型。在第二阶段3中，对各进入的视频帧执行前景提取和背景自适应。将进入的帧与背景模型进行比较，以确定哪些图像像素表示前景对象及哪些图像像素表示背景。各像素由此被分类，得到的图像称作对象掩模。而且，背景模型中的小的改变被自适应地更新。在第三阶段5中，逐帧地跟踪对象掩模中识别出的前景区域。在当前帧的前景对象与在先前的帧中已经跟踪到的前景对象之间建立对应。维护轨迹数据库，使得更高级的应用可以利用各前景对象的跟踪历史，该更高级的应用例如可以显示指示视频中的一个或更多个前景对象所经的累计路径的踪迹线。可以使用对象分类应用对各前景对象的形状与真实世界对象的数据库进行比较。如果发现了匹配，则将该前景对象适当地分类为(例如)“人”或“车辆”。

在处理各帧之后，通常对背景模型执行有效性检查，以确保其仍有效。显著的或突然的改变可能需要学习新的背景模型。

智能视频系统用于视频监视是有利的。在许多监视情况下，对于人类操作者来说，同时监视大量视频屏幕是不切实际的。通过识别对象并监视其各自随时间的运动，操作者无需一直监视特定显示器。在当操作者未监视该显示器时出现事件的情况下，对象所经的累计路径是可见的，并且还可以离线地使用该视频系统回顾该事件。

美国专利申请公报No.2003/0053659 A1中公开了一种已知的智能视频系统。

现有技术中的已知问题是由进入的视频中出现的阴影导致的。通常，阴影将导致图像区域看起来比其真实亮度暗。因此，在前景提取阶段，投射阴影区域可能被不正确地检测为前景，而事实上，该区域的像素实际上表示背景。由此，阴影可能导致来自前景提取阶段3的对象掩模表现出前景形状的畸变的表示。这在视频系统的后续处理阶段中具有明显的缺点，尤其在该阶段需要识别对象的形状的情况下更为严重。

类似的问题是由加亮区的出现导致的。在该情况下，加亮区将导致图像区域看起来比其真实亮度亮。

已经提出了使用色恒定性信息和/或纹理信息来识别并去除阴影。然而，这种技术具有缺点。在确保大部分(即使不是全部)阴影被去除的情况下，真实前景区域也可能被去除。这是由于自阴影(即，对象投射在其自身上的阴影)导致的特殊问题。这导致其中出现前景对象的图像成为碎片。后续处理阶段可能将成为碎片的各部分视为独立的对象。

Horprasert等人在“A Statistical Approach for Real-Time RobustBackground Subtraction and Shadow Detection”(IEEE ICCV Frame RateWorkshop，1999)中公开了一种已知的阴影去除方法。

发明内容

根据本发明的第一方面，提供一种对表示视频帧的像素的数据进行处理的方法，所述像素已被预分类为属于前景区域或背景区域，该方法包括以下步骤：(a)在所述视频帧中识别包括有两个或更多个邻接的前景像素的区域；(b)通过使用预定算法，在所述视频帧中将一个或更多个前景像素识别为要重新分类的候选像素；(c)将所述候选像素重新分类为背景像素，并生成包括所述重新分类的像素的比较帧；(d)从所述比较帧中识别其各自的帧位置都在步骤(a)中识别出的区域内的前景像素；以及(d)将步骤(d)中识别出的前景像素分类为表示共同的前景对象。

所述方法提供了一种例如在阴影去除操作中将前景像素重新分类为背景像素的有利途径。通过对重新分类之前和之后的前景区域的交叠进行比较，可以识别成为碎片的前景区域，然后将他们分类为表示共同的(即，同一)前景对象。前景对象在其形状方面得到了较好的限定，后续处理阶段将不把成为碎片的区域视为独立的对象。