[发明专利]用于对图像进行分割的方法和系统

说明书

技术领域

本发明涉及视频图像处理的领域，特别涉及视频图像中的前景检测。

背景技术

某些视觉应用需要把视频馈送的图像中的前景与背景分开，以便把前景主题置于另一情境中。这样的分离与重组的经典应用有：把TV气象播报员呈现在虚拟气象图前方，看起来像是在奇异场景中拍摄的广告，在电影中看起来存在于人造场景中或者在天上飞的超级英雄。这样的表示的共同点在于，其人类主题都是在工作室内录制的，并且其背景被新的背景所替代。如果原始背景可以被控制或者完全为视频处理单元所知，则所述规程相对容易。对于在专门设计的工作室内录制的前述实例就是这种情况。

当必须对于任意背景（其必须由视频处理单元检测或者学习）使用前面提到的技术时就会出现本发明所应对的问题。

发明内容

根据本发明的一方面，提供一种用于把来自视频图像序列中的图像分割成前景和背景的方法，其中所述图像由像素构成，所述方法包括：为每一个像素指派初始前景概率；为每一个像素指派一个概率传播系数集合；以及对于各个像素的初始前景概率应用全局优化器以便把每一个像素分类为前景像素或背景像素，从而获得确定性前景图；其中，所述全局优化器借助于每一个所处理的像素的初始前景概率和各个相邻像素的初始前景概率对每个所处理的像素进行分类，各个相邻像素的初始前景概率的相对权重由所述相邻像素的概率传播系数决定。

本发明的一个优点在于，其通过把“软”分类与知晓边缘的迭代性滤波器相组合而获得了高效率，其中所述“软”处理是基于概率模型并且可以由单次处理构成，所述知晓边缘的滤波器确保所剪出的前景与图像中所呈现的对象的实际边缘一致。对于前景概率的指派通常基于启发法。边缘检测被抽象为评估相邻像素或区段的相关程度，其决定应当允许相邻像素或区段影响彼此被分类为前景或背景的程度。因此为每一个像素指派一个概率传播系数集合，其包括对于在图像中的感兴趣像素与一个或更多相邻像素之间存在边缘的概率的估计。

在本发明的方法的一个实施例中，前景概率的指派包括：应用至少第一启发概率指派算法和第二启发概率指派算法；以及通过把第一启发概率指派算法的结果与第二启发概率指派算法的结果相组合而确定前景概率。

相应地，通过组合两个或更多不同启发模型可以改进本发明的方法的精确性和鲁棒性，以便获得关于给定像素是否是前景像素的更好估计。

在一个具体实施例中，第一启发概率指派算法和第二启发概率指派算法的其中之一包括把所述像素与背景颜色模型相比较。

该实施例利用了可用于系统的关于背景的任何先验知识，并且可以附加地或替换地依赖于在施行本发明的方法的过程中所获取的关于背景的知识。所获取的知识包括关于由其他前景概率信息来源（特别是另一项启发）所贡献的相同图像的知识，以及/或者关于相同视频流中的已经为之进行了前景/背景分割的先前图像的信息。通过明智地合并所获取的信息，可以减少或者消除针对预备训练阶段的需求。

在一个具体实施例中，第一启发概率指派算法和第二启发概率指派算法的其中之一包括应用人体模型。

该实施例利用了在大多数常见前景提取应用中的感兴趣对象是人类这一事实，其通常是站在或者坐在摄影机前方的人类。

在一个实施例中，本发明的方法还包括：基于所述确定性前景图，更新第一启发概率分派算法和第二启发概率分派算法的至少其中之一的参数。

该实施例的一个优点在于，用于软分类步骤的启发算法被动态地更新，从而逐渐变得更加精确。因此采用所述方法的系统就在一定程度上变为自我学习，从而基于背景从一幅图像到下一幅图像不会发生显著改变的假设，导致对于后续视频图像的更加高效和/或更加精确的处理。

在一个实施例中，本发明的方法还包括用于去除分派伪像（artifact）的后处理步骤。

通过去除不太可能是实际前景的所断定的前景部分（即前景检测处理的“假阳性”），这例如是因为其形状和/或维度不具有前景对象的典型特征，所述附加的后处理步骤可以改进所得到的图像的视觉质量。相反，不太可能是实际背景的所断定的背景部分（即前景检测处理的“假阴性”）可以被复原到前景状态。

在一个具体实施例中，所述后处理步骤包括应用形态运算符。

在一个具体实施例中，所述后处理步骤包括应用连通分量算法。

在根据本发明的方法的一个实施例中，所述全局优化器是迭代地应用的双边滤波器。

根据本发明的另一方面，提供一种计算机程序产品，其在被执行时使得计算机施行根据本发明的方法。