[发明专利]三维图像数据处理

说明书

技术领域

本发明涉及包括三维视频图像数据的三维图像数据。

背景技术

三维显示通过向观看者的眼睛提供正被观看的场景的不同视图来将第三维添加到观看体验。用于表示三维（3D）图像的流行方式是使用一个或多个二维（2D）图像加提供该第三维的信息的深度表示。这样的方式提供了许多优点，包括：允许利用相对低复杂度来产生3D视图并且提供有效的数据表示，由此降低例如对于3D图像（和视频）信号的存储和通信资源需求。该方式还允许产生具有与在3D图像数据中包括的2D图像不同的视点和视角的2D图像。这可以特别地用于生成附加的图像，从而提供对应于观看者双眼视角的两个图像。这可以用于提供3D感受，即提供3D图像。

通过单个2D图像和相关联的深度信息来表示3D图像的缺点是：其不包括关于被前景对象遮挡的背景图像区域的信息。相应地，如果场景是针对不同视点呈现（render）的，则不能透露在前景对象后面的信息。相应地，已经建议使用多层图像和深度表示，其包括多个二维图像（例如，前景图像和背景图像）以及相关联的深度信息。可以在http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=20得到的Steven J. Gortler与Li-wei He的Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09，a.o.和例如美国专利申请US20070057944中找到如何根据这样的信息呈现新视图的描述。

在使用多于一层的方式中，已经提出允许层是半透明的。在计算机图形领域中，在例如Norman P. Jouppi与Chun-Fa Chang, An Economical Hardware Technique for High-Quality Antialiasing and Transparency, Proceedings of Eurographics/Siggraph workshop on graphics hardware 1999中描述了这样的方式。这样的方式允许使半透明材料（例如，水、烟雾、火焰）可视化并且还允许处于不同深度的对象的边缘的改进的抗混叠（anti-aliasing）。具体地，其允许边缘的更渐进的转变（more gradual transition of edges）。因此，透明度可以不仅仅被用于表示半透明对象，而也可以通过使边缘半透明允许前景对象边缘的抗混叠，从而透明度值表示像素有多少应当是前景以及有多少背景应当可见。这样的方式的实例可以在C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski, High-quality video view interpolation using a layered representation, Proceedings of Siggraph 2004中找到。

然而，尽管这样的方式在许多情形下可以提供改进的3D图像感受和图像，但是它们趋于具有一些缺点。具体地，在一些情形下，图像质量和3D感受可能不是最优的，并且3D处理可能引入失真和图像劣化（诸如，可视伪像）。

因此，3D图像数据处理的改进方式将是有利的，并且具体地允许增加的灵活性、提高的图像质量、便利的实现方式和/或提高的性能的方式将是有利的。

发明内容

相应地，本发明寻求单个地或以任何组合地优选地减轻、缓解或消除一个或多个上述缺点。

根据本发明一方面，提供了一种产生三维图像数据的方法，所述三维图像数据包括用于呈现三维图像的各视图的画面元素的多个图像层，该方法包括：提供（301）用于第一图像层的第一图像数据；提供（303）用于第二图像层的第二图像数据；提供（305）用于第一图像层和第二图像层中的至少一个的深度指示数据；生成（307）相关性指示符（indicator），该相关性指示符指示第一图像层的第一图像是否包含用于第二图像层的第二同步图像的补充性三维分层图像数据；以及生成（309）包括第一图像数据、第二图像数据、深度指示数据和相关性指示符的三维图像数据。

本发明在许多情形下可以提供改进的性能。具体地，可以实现改进的3D感受和/或图像质量。具体地，可以降低或消除与一些条件下的3D图像处理相关联的许多图像伪像和劣化。呈现图像元素可以指代呈现图像的（子）像素；该图像例如是三维场景的全视图。