[发明专利]代表可视动画数据基于内容索引和检索的移动对象轨迹的系统和方法

说明书

发明的技术领域

本发明一般涉及图象检索系统和，更确切涉及代表动画视觉数据中移动对象或部位的轨迹的系统用于连续的基于内容索引，检索，编辑，分析和增强形象化。

发明背景

数字电视(DTV)的出现，因特网的日益普及，和民用多媒体电器的使用，如密致盘(CD)和数字视频盘(DVD)，给消费者带来了极大的多媒体信息。随着录象和动画图象内容应用和使用它们的产品进入市场，查寻，索引和识别大量多媒体数据变得更加复杂和重要了。

术语“可视动画数据”，其中公开内容中指通常的录象，还有合成的2D或3D世界(如VRML)，或录象和图象的结合(如MPEG-4)。不同的标准用来寻找和索引可视动画数据的内容，如图象片段。为搜索可视动画数据帧开发出来的图象处理系统，用来检测、识别和标记一个形状或颜色特别的对象，或检测帧中的文本，如副标题，广告文本，或背景图象文本，如一个路牌或“HOTEL”标志。

然而，多媒体基于内容的索引和检索系统很少考虑到可视动画数据帧内的对象轨迹。很多已开发的系统只是用于静止图象检索。有些系统后来被延伸到动画数据通过先把它们总结为连续镜头，然后用主帧代表每个镜头，然后在主帧上应用静止图象使用的技巧。有些系统中，考虑了一个镜头中的照相机的运动，但还没有考虑对象轨迹。

VideoQ，由哥伦比亚大学ADVENT Project of the Image andAdvanced TV Lab研制的，是一个处理对象运动的多媒体基于内容索引和检索的系统。VideoQ允许查寻基于对象的运动痕迹。对象的运动痕迹由这个对象的重心(质心)轨迹向量有序序列在序列中的每个时间瞬时描述。

在不同的处理可视动画数据应用程序的任务中，其它表示是用来处理视频帧中的运动的。在编码标准如MPEG-1,MPEG-2,MPEG-4,H.261和H.263中，运动表示为每个图象之间和象素块的“运动”对应的2维向量的字段。运动向量在任何图象块上的任何时间瞬时都能被跳过。但是，这个块在那个时间瞬时会被认为是不动的。因为象素块通常只有尺寸8×8到16×16，这个表示导致彼此类似的邻近段和/或连续图象的大量向量。

还有，尽管这一信息在以上标准中叫做“运动”，它并不是设计来符合动画可视物质中真正的“运动”。相反，这个信息是用来发现周围图象的类似点从而减少当前图象的编码消耗。因此，这种运动向量并不适用于多媒体数据索引和检索。

目前正在研制中的是一个新的MPEG标准，MPEG-7，旨在建立一套标准的“描述性部件”来描述多媒体数据的不同方面，包括对象的运动。这些描述性部件，叫做描述符(Descriptor)和描述方案(Description Scheme)，直接描述可视动画数据的内容，如一个图象片段，从而提供了一个快速而有效的从录象文件夹和动画图象文件夹中搜寻的方法。除了这些描述符(D)和描述方案(DS)，MPEG-7还会标准化一种语言来表示描述(DDL)。描述被编码成能够有效的传递和储存。然而，MPEG-7标准远未完成而且有些目标可能永远也不会实现。谁也不能保证能恰当的说明对象的轨迹。

因此对于在一系列可视动画数据帧中描述的对象轨迹需要改进的系统和方法。尤其是，需要对于能够确定可视动画数据帧中对象轨迹并代表描述符或描述方案中的能在基于内容索引和检索的系统中使用的被查到的对象轨迹的系统。

发明概述

要解决上述已有技术的缺陷，本发明的主要目的就是提供一个灵活的和类属的更容易查寻和索引对象轨迹的说明。这个公开既没有针对描述的编码也没有针对描述定义语言(DDL)中它的表述。所述的描述性数据结构，在使用MPEG-7术语时，既可被认为是一个合成的描述符或一个简单的初级描述方案。

本发明并不局限于一个或多个特别的应用程序的需要或任何特别的数据源格式。本发明把描述符同人类的感觉标准和那个数据所描述的实际语义内容连接起来。人类在较高的阶段获取运动。据此，本发明通过在场景中对象于某一点上的轨迹代表它的对象轨迹使用一个高级描述，如它的重心(即质心)。为了进一步描述一个场景的运动，基于对象的描述可用一个照相机(或观察点)的运动描述来补充。如果有的话，微小的细节可用一个对象变形的描述来补充而被加上去。