[发明专利]活动视频图象中的对象识别

说明书

本发明一般涉及计算机视频图象操作领域。而更具体地涉及用于识别视频图象内所关心的对象从而即使对象在图象内移动也能保持对象的识别的改进的装置与方法。

静止画面及活动视频图象的数字化视频图象操作为面向将“多媒体”引入我们生活中许多方面的当前趋势的重要方面，也是诸如制作动画等较传统的努力的现代方向。具有与本发明同一发明人的共有未决美国专利申请号08/146,964教示了将传统的“动画”图象转换成计算机/用户界面装置的方法。在实行该先有发明的方法中，必须在视频图象中识别所关心的特定对象。如在上面引用的公开中所讨论的，这种识别可以是相当费力的，并曾预言有可能在未来开发出将这种劳动中的某些从人类操作员转移给计算机的方法。公开了指定由活动图象内的对象构成的“热点”为“…通过观看各关键帧及至少为之研制出更自动化的系统之前手工指定要在关键帧中作为热点指定的感兴趣的对象或东西(如果有的话)”(在这一引文中已删除了关于前面的指示的参照号码)。本申请指向用于自动化这种对象的识别及在时间上保持这种识别的方法与装置。虽然本造性方法旨在结合交互式计算机界面系统制作使用，但并不限于这种应用。

动画或其它专门制作的活动视频图象中的对象能比较容易地识别，因为这种对象能按照特定的容易区别的标准(诸如颜色之类)来制作，或者甚至在制作该对象时能使该对象的象素位置成为在计算机内描述该对象的数据的一部分。然而，在并非专门产生或制作的现场动作图象中的对象便不能这样容易地隔离。

识别视频图象中的对象，诸如按照计算机可以理解的标准定义的对象的先有技术方法包括识别定义该对象的边沿、颜色或颜色模式与/或亮度级。对于静止视频图象的识别与/或操作，这些方法已相对地有效。例如，能用自动定义其外侧边沿的已知方法来区别对象，然后在该对象上操作。作为这些操作的示例，可使对象在图象内移动，从图象中消除或改变其颜色、亮度之类。一旦用位图定义了图象，在本发明的上下文中甚至还可以以图符或“热点”的方式使用对象，使得在对象的图象区上摁动按钮能导致计算机启动应答或进一步与最终用户交互作用。然而，应当记住，这种过程不能很好地转移到活动视频图象的领域内。首先，通过为活动图象的所有帧存储全体对象的位图来跟踪活动视频图象内的对象的位置会加重计算机的数据存储器容量的负担并降低计算机的操作速度。第二，即使在单个静止视频图象上工作时执行上述操作所需的用户交互作用与劳动量是可以容忍的，试图为一个活动图象每秒重复三十次左右这一操作会很快显露这一方法超出了可实现的范围。

用来分离活动视频图象中的对象的一种采纳的方法是基于图象的部分的颜色的。熟悉本技术的人员是熟知“兰色屏幕”法的，其中能够有选择地从图象中消除具有特定颜色(通常但并非必要是兰色)的图象的部分。这一技术在数字图象操作到来之前已用在电视中，但已发现应用在数字图象操作领域中时也工作得很好。虽然这一方法对其意想的目的工作得很好，但它通常只能成功地将背景诸如与前台对象区分。再者，它需要专门设定所关心的对象必须是相对于特殊的背景颜色原始“拍摄”的(意指拍摄、录在录象带上等)。更重要的是，虽然背景能与前台对象区分使得计算机能计算对象的位置以便在其上执行操作(诸如将对象叠加在不同的背景上)，但对于计算机能使用对象来作为计算机/用户交互作用的手段来说，通常不能充分地识别不同的对象。再者，即使能够在兰色背景之类前方拍摄视频场景的特殊情况中，以及甚至在前台只有一个单一的对象而不存在对象之间的混淆的寻常的情况中，这种先有技术解决方法也不能解决巨大的数据存储器需求及计算资源枯竭问题，如上所述。

与更人为地引入的背景“兰色屏幕”法相比，识别视频图象内的边沿或复杂颜色模式的方法对于分离视频图象的特定“现实世界”部分更有效。然而，这种边沿或颜色识别法通常需要相对复杂的计算机分析，因此不适合于实时图象跟踪，至少除非将大量昂贵的计算能力专用在这种跟踪上。即使在任务可以利用实际上无限制的计算机资源量时，也已证明试图按照这种复杂的标准来跟踪视频图象内的活动对象也是令人不快地复杂的。当在图象中要跟踪一个以上对象时，或者当对象在图象内快速地移动与/或改变相对形状时，与这些方法相关联的问题便恶化了。

本发明人已注意到，为了实现他们自己的产品，若干计算机产生的卓越制造商具有对用于识别视频图象内的对象而使计算机能跟踪这些对象的更好地装置与/或方法的需求。然而，尽管这些公司中一些具有巨大的研究预算以及许多有经验的研究人员，它们还是转向本发明人寻求对这一已知问题的解决方案。