[发明专利]用于覆盖图形对象的图像处理器

说明书

发明领域

本发明主要涉及一种可以把图形对象覆盖(overlay)在基本图像上的图像处理器。该图像处理器可以具有例如能够提供立体视频输出数据的蓝光光盘回放设备的形式。本发明的其它方面涉及到立体视频呈现系统、处理定义基本图像和图形对象的数据的组件(assembly)的方法、以及用于可编程处理器的计算机程序产品。

背景技术

通过把图形对象覆盖在基本图像上、或覆盖在构成视频的基本图像序列上，可以得到增强的视频体验。添加字幕是一个基本的例子，其中图形对象具有文本的形式。在更高级的应用中，一个或多个图形对象可以代表也许与基本图像有概念上的关系的图画。也有可能基于一个或多个图形对象给视频加上动画。

对于能够提供增强的视频体验的所谓的蓝光光盘应用已经逐步形成一种标准。该标准规定了所谓的图形对象分段，图形对象分段提供了采用编码形式的、图形对象的基本表示。该标准还规定了所谓的构成分段(composition segment)。构成分段描述了该构成分段所涉及的图形对象的给定的外观。为了达到这个给定的外观，需要处理图形对象的基本表示。这个处理可包括比如像裁剪、定位、颜色映射那样的操作。图形控制器典型地根据所关心的构成分段来定义这些操作。由处理其基本表示而产生的图形对象典型地被放置在所谓的图形面上。这个图形面然后被覆盖在与视频的图像相对应的视频面上。视频面因此可被看作为在其上覆盖图形对象的基本图像。

以编号US 2006/0294543公布的美国专利申请描述了背景技术，按照该背景技术，再现设备分开地译码视频流和图形流，并且叠加最终得到的视频和图形，以产生再现图像。图形流是所谓的PES分组的排列，这些分组可被分类为两种类型：承载控制信息的PES分组和承载代表图形的图形数据的PES分组。一对控制信息与图形数据产生一个图形显示。再现设备顺序地读取控制信息和图形数据，译码控制信息，并且还译码图形数据，以生成未压缩的图形。再现设备按照控制信息的译码结果，以想要的呈现定时显示未压缩的图形。

发明概要

因而本发明的目的是提供一种这样的解决方案，其允许以相对较低的成本来实现在其中有图形对象覆盖于基本图像的图像的令人满意的立体图像呈现。独立权利要求定义了本发明的各种方面。从属权利要求定义了用于实施本发明以便获益的附加特征。

本发明考虑了以下几点。当通过把图形对象覆盖在基本图像上而得到的图像被以立体的方式呈现时，可能出现遮蔽(occlusion)问题。为了以立体的方式呈现图像，需要深度信息。这个深度信息指示各个对象相对于虚拟观察者所具有的各自的距离，深度信息可被处理器使用来生成多个视图。每个视图对应于特定的观看位置，这个特定的观看位置与其它观看位置稍有不同。图形对象将遮蔽一部分基本图像。在被生成用于立体呈现的一个或多个视图中，被遮蔽的那部分的至少一部分可被去除遮蔽(de-occlude)。倘若处理器需要根据上述的图像生成多个视图，这造成一个问题。信息将缺失。

遮蔽问题的基本解决方案如下。生成用于立体呈现的多个视图的处理器被提供以完整的基本图像，而不是其中有图形对象覆盖于基本图像的图像。也就是，处理器接收基本图像和图形对象，以及相关的深度信息。因此，处理器具有用于正确地生成多个视图的所有的必需的信息。

然而，上述的基本解决方案实施起来可能相对昂贵。所关心的处理器优选地形成立体显示设备的一部分，其可以被耦合到众多不同类型的视频设备。这意味着，在立体显示设备与它耦合到的视频设备之间的连接需要输送基本图像以及图形对象和需要被呈现的其它可视信息(如果有的话)。为了输送所有的这样的信息，所述连接需要具有相对较大的带宽。所关心的类型的连接已被标准化。标准化的连接具有给定的最大带宽。万一需要超过给定的最大带宽的带宽，则需要多个连接。这是相对昂贵的，并且也可能是麻烦的。

遮蔽问题也可以通过所谓的空洞填充技术被解决。空洞填充技术可以是基于外推法：图像上可得到的可视信息被使用来重建该图像中缺失的可视信息。作为另一个例子，基本图像的被图形对象遮蔽的那个部分可以根据同一个视频的先前的图像或随后的图像或这二者而被重建。视频通常包括正在移动的对象。因此，给定图像中被遮蔽的基本图像的那个部分在先于该给定图像的图像中、或在跟随于该给定图像之后的图像中、或在这二者中可以是至少部分地可看见的。然而，这样的空洞填充技术典型地需要复杂的处理，所以实施起来是昂贵的。