[发明专利]实时身体分割系统

说明书

相关申请的交叉引用

本申请基于2008年3月7日提交的第12/044,416号美国专利申请并且要求其权益，其全部内容通过引用并入本申请。

技术领域

本发明涉及三维数据分析，更具体地，涉及用于应用计算机视觉的图案识别的对象分割。

背景技术

对象分割是语义对象提取的关键技术，并且在数字视频处理、图案识别和计算机视觉方面是有用的。分割/追踪视频对象形式的三维图像的工作出现在很多应用中，例如视频监控和监视、视频摘要和索引以及数字娱乐。应用的采样包括：

-视频监视，其中分割结果用于允许识别入侵者或者异常情况，并且有助于预测和揭示环境中的动作和相互作用的图案，以确定何时应当把“警报”通知给安全单位。

-基于内容的视频摘要，例如体育赛事摘要，视频预览，视频图案挖掘，即，需要已分割的语义对象以执行内容分类、表现或理解的工作。

-基于内容的编码应用，其中视频序列的每一帧被分割为具有任意形状的语义上有意义的对象。

-计算机视觉，例如视频抠图、视频“艺术风格化”和渲染，其中来自输入图像或者视频序列的已分割的二维对象能够用于3D场景重建。

-视频会议和视频电话应用，其中分割能够通过以较高质量对最相关对象进行编码而实现更好的质量。

-数字娱乐，其中通过分割能够取代一些具体对象，如视频游戏。

其他可能的应用包括工业检查、环境监控或者元数据与已分割对象的关联等。

人体图像对象分割通常被认为是人体识别、行为分析或者人机通信的关键步骤。从图像等取得的、作为所谓人体对象的数据集和特征能够应用于很多领域，例如视频监视、计算机视觉和视频娱乐。例如，所提取的人体对象能够用于允许可疑行为的识别，并且它可以帮助发现有问题的行为并且向安全中心警告可能发生的危险。

通常，对象分割能够分为两个阶段，即与图案识别相关的期望对象检测和与聚类(clustering)技术相关的对象提取。在检测模式中，对象分割能够以两种方式执行，有监督的和无监督的。然而，由于不同的对象特征，例如颜色、强度、外形和轮廓，通常难以自动地发现(无监督的)期望对象。为了避免对感兴趣对象的分割的错误检测，已经开发了很多交互式方法，这些交互式方法需要用户事先限定所期望的对象。由于以用户方面的交互式努力为代价而避免了对象检测的复杂步骤，所以这些方法通常能够向用户提供比自动方法更好的分割性能。

为了满足未来的基于内容的多媒体服务，在真实世界的场景中迫切地需要以无监督的方式分割有意义的对象。

在文献中能够找到很多视频分割方法，并且通常使用空间和时间信息。空间分割方法关于颜色或强度将每一帧划分成同种区域。典型的划分方法通常被分成基于区域的方法、基于边界的方法和基于分类的方法。

包含区域增长、分裂和合并的空间分割方法依赖于局部特征(例如，颜色、纹理、运动和其他像素统计)的同质性。时间分割方法使用主梯度信息来对对象边界进行定位。在基于分类的方法中，首先创建特征空间的划分，然后将其转换为视频信号。这种方法可以是记号(cue)的组合，例如纹理、颜色、运动和深度。空间分割方法能够产生相对准确的对象边界。然而，由于必须对于每一帧在整个图像上进行分割，所以计算复杂度充分高并且限制了用于非实时应用。此外，基于空间方法的主要问题是对于下面的“被破坏的”情况缺少鲁棒性(robustness)，例如有噪声的或者模糊的视频图像，在视频图像中区域的边界经常缺失或者与其他区域混合。

另一方面，时间分割利用运动而不是空间信息来获得对象的初始位置和边界。所谓的变化检测掩模(mask)是被并入分割处理中的动作信息的最常见的形式。因为感兴趣的对象通常是运动的，所以能够根据帧间或者背景帧基础进行变化检测。由于图像噪声的原因，对象的边界常常是不规则的，必须使用图像的空间信息进行提炼。由于边界微调程序只包含已分割的运动区域而不是整个帧，所以获得了更高的效率。然而，阴影效应、反射和噪声可能被错误地分配给前景对象。而且，通常难以辨别由真实对象运动引起的改变和由噪声、阴影效应等引起的改变。

由于感兴趣的对象通常对应于可能具有很多空间-时间变化的多个区域，所以大多数现有的视频图像分割技术不能自动地提取图像中的对象。不使用任何主分割准则难以自动地分割这些对象。“盲分割”算法没有关于被分割对象的环境知识的假设，其内在问题是，相对于低级特性，感兴趣的对象之间可能没有同质性，或者对象可能随着环境因素(例如光照条件等)改变。

由于这些和其他原因，需要适用于动态人体形状的改进的对象分割。