[发明专利]静态图象产生方法和装置

说明书

发明领域

本发明涉及从包括连续的视频对象VO的一个视频序列产生诸如子图象(sprite)或者马赛克图象(mosaic)的一个大的静态图象的方法，考虑所述静态图象的增长，所述方法包括下列步骤：

(A)相对于先前产生的静态图象，计算关于该序列的当前视频对象VO(n)的运动参数；

(B)在所述计算的运动参数的基础上，卷曲所述当前视频对象VO(n)；

(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象混合；

以及本发明涉及一个相应的装置。这一发明可以用于相关的MPEG-4和MPEG-7标准。

本发明的背景技术

在MPEG-7的帧中将要进行标准化的描述子(descriptor)以及描述模式(div scheme)(该MPEG-7在近数年中一直在致力于将描述多媒体内容的一般方式进行标准化)在各种特征类型(诸如文本，颜色，纹理，运动和语义内容等)的基础上将允许快速和有效的数据检索。在这一MPEG-7上下文中，正如所将要说明的，马赛克图象可以担当一个有用的角色。

视频序列、视频照(video shot)和关键帧遵循一种层次结构：一个视频照是显示一个单一背景的一个特殊的序列，而关键帧在这一照的一个图象中的一个可视表示。通过从该整个序列的一个先前照部分提取关键帧可以获得一个视频序列的一个可视表示。然后该过程选择每个视频照的一个图象作为关键帧，从而它只表示可能不是一个最可靠的表示的该视频照的一部分。然而，在想要在背景信息的一个单一全景视图中显示该整个视频照时，一个马赛克图象似乎是比一个关键帧更好的选择。正如例如在文章“视频序列的有效表示以及它们的应用”(″Efficient representations of video sequences and theirapplications″)(作者M.Irani等人，发表于Signal Processing：Image Communication，vol.8，1996，pp.327-351)中所解释的，对于一个场景的一个全景视图，马赛克图象是从该场景序列的所有帧中构造一种大的静态图象。有可能例如从这一全景视图抽取出该序列的主要特征，比如色度或亮度图，目标的形状，整体运动参数等等(所有这些特征构成MPEG-7的相关的标准描述子，以及用于MPEG-7兼容的搜索引擎)。

作为应用于该MPEG-4标准的上下文，一个马赛克图象的定义可以相比于一个子图象的定义。一个子图象是由通过一个完整序列可以看见的一个对象中的象素组成的一个较大的静态图象。这一静态图象形成一个全景视图，由于前景目标或者相机运动的影响，其某些部分在一些图象帧中可能是不可见。如果可以收集遍及整个序列的所有相关的象素，就可获得一个完全的全景视图(称作背景子图象)，该视图可以有效地进行传输(或存储)，以及以后用来重建部分视频帧。

正如例如在文献WO98/59497中所描述的一个子图象的情况(但是这一描述也可以适用于一个马赛克图象)，一个子图象或者马赛克图象的产生涉及三个主要步骤(在下面的描述中，将用普通词汇“静态图象”来代替子图象或者马赛克图象)。首先是一个运动计算步骤，用于获得允许将一个当前视频帧F(n)与已由先前视频帧F(1)，F(2)，…，F(n-1)构成的静态图象M(n-1)进行正确合并的运动参数。然后可以计算其逆参数，从而在这些逆参数的方向中可以补偿当前视频帧；这一第二步也称作卷曲(warping)。该所卷曲的当前视频帧F(n)最后与M(n-1)混合，以形成一个新的增长的静态图象M(n)，用其与下一进来的视频帧F(n+1)合并，如此等等。

然而观察所得到的静态图象可以看到所述静态图象的某些部分是不干净的。例如，一个运动目标的某些部分没有完全地去除。

本发明概述

因此本发明的一个目的是提供一种没有这种后生物(artifact)的静态图象产生方法。

为此，本发明涉及在本说明书中的开始段落所介绍的方法，并且其特征还在于：

(1)所述方法还包括(n-1)次另外的增长步骤，这些步骤应用于以相反顺序考虑的同一视频序列，每一另外的增长步骤自身包括一个卷曲子步骤和一个混合子步骤，所述卷曲子步骤基于以所述相反的顺序考虑的每一连续的视频目标和对应的计算的运动参数，所述混合步骤在所考虑的卷曲的视频对象和在该先前增长步骤的末尾所产生的静态图象之间。

本发明的另一个目的是提供一个用于执行所述方法的静态图象产生装置。