[发明专利]将视觉元素分类为前景或背景的方法及装置

说明书

本发明提供一种将视频中的输入图像中的视觉元素分类为前景或背景的方法及装置。所述输入图像包括多个视觉元素，所述方法包括：获取步骤，获取与所述输入图像相关联的背景模型；模糊强度确定步骤，通过在所述输入图像与所述背景模型之间比较所述多个视觉元素的边缘强度，来确定所述输入图像的模糊强度；分类阈值确定步骤，根据所述模糊强度来确定分类阈值；以及分类步骤，根据所述分类阈值，将所述视觉元素分类为所述前景或所述背景。

技术领域

本发明涉及视频分析及图像处理，尤其涉及在视频中将前景对象从背景中的分离。

背景技术

视频照相机被广泛地用于当今的安全监控系统中。照相机捕获的视频内容之多，超出了人类观察者的处理能力。因此，需要对视频内容的自动分析。在视频内容的处理中，有如下的重要步骤，即将视频帧的内容分离为前景对象和背景场景或背景。该处理被称为前景背景分离。这种分离使得能够进行进一步的分析，例如，对运动对象的跟踪。这种进一步的分析可以起到协助作用，例如，可以协助决定是否向安保人员发送警报。

视频是一序列的图像。图像也称为帧。术语“帧”及“图像”在整个本说明书中可互换地使用以描述图像序列中的单个图像。帧或图像包括多个视觉元素。

背景模型与从视频或图像序列得出的背景信息相关。背景模型是通过将当前帧之前、跨越一段时间的多个帧上的场景中的像素或块的视觉特性集合到一起来创建的。对于背景模型的形式没有限制。根据一个示例，背景模型简单地是当前帧之前的图像帧中的一者。总之，背景模式的结构取决于视觉元素分类和前景背景分离的目的。

现有技术1为背景减除，这是前景背景分离的常见方法。在一个示例中，将背景模型中的像素值，与输入帧中的相应位置处的当前像素值进行比较。如果当前像素值与背景模型中的像素值相似，则认为该像素属于背景；否则，认为该像素属于前景对象。图1A例示了背景模型的示例。图1B例示了内部有人的当前图像，在该当前图像中，通过背景减除过程而对前景背景分离进行了标示。

现有技术1的技术难题是在具有变动的外观的场景中，进行精确的前景背景分离。例如，在各种条件下，例如当对象出现在过于接近照相机处，或者在自动聚焦过程中，在视频监控系统中使用的照相机可能提供失焦(out of focus)的视频帧。当发生失焦时，视频帧经常由于透镜移位而变得模糊。图像的纹理将是模糊不清的。在这种情况下，现有技术1往往失败，并且通过现有技术1，若干背景块将被不正确地分离为前景块。图2示出了由于失焦而导致的模糊的输入图像的现有技术1的分离结果，在该分离结果中，许多背景块被不正确地分离为前景块。如果不能正确地进行对这种失焦视频帧的前景背景分离，则在此基础上，可能错误地导致进一步的内容分析，并且视频监控系统的其他操作可能受到影响。

也存在一些计算图像模糊度的方法。现有技术2(即美国专利公开US2014/0015984)公开了一种用于在视频分析系统中确定图像模糊度值的技术。该技术首先对视频帧进行多级哈尔(Haar)小波变换。然后，根据一些预定的结构，在各金字塔分解级中，确定清晰边缘区域和候选模糊边缘区域。接下来，从候选模糊边缘区域中确定实际模糊边缘区域。最后，基于清晰边缘区域及模糊边缘区域来确定模糊度值。

为了确定清晰边缘区域和模糊边缘区域，现有技术2需要对视频帧进行多级哈尔小波变换和许多模板匹配，而这是耗时的。很难在实时前景背景分离系统中应用。

此外，根据一些预定的结构来确定清晰区域或模糊区域，可能受到噪声的影响。例如，如果模糊图像包含大量的噪声，则该模糊图像很可能被判断为清晰图像，这是因为，噪声经常包括现有技术2中例示的狄拉克(Dirac)结构。换言之，该方法的鲁棒性成为技术难题。

因此，期望提出一种新技术，以解决现有技术中的至少一个问题。

发明内容

本发明是鉴于上述问题中的至少一者而提出的。