[发明专利]基于纹理图与网格的3D图像信息的处理

说明书

一种装置包括接收器(201)，所述接收器接收包括三维图像的图像信号，所述三维图像表示场景的自不同视点。每幅三维图像包括网格与纹理图。所述信号还包括针对与若干三维图像的视点不同的第一视点的多幅残差数据纹理图，所述多幅残差数据纹理图中的第一残差数据纹理图提供针对所述第一视点的纹理图相对于从第一参考纹理图的视点移位产生的纹理图的残差数据，所述第一参考纹理图是所述若干三维图像中的第一三维图像的纹理图，所述多幅残差数据纹理图中的第二残差数据纹理图提供针对所述第一视点的纹理图相对于从第二参考纹理图的视点移位产生的纹理图的残差数据，所述第二参考纹理图是所述若干三维图像中的第二三维图像的纹理图。网格处理器(203)根据作为所述多幅三维图像中的所述第二参考图像的网格的额外的参考网格来生成针对所述第一视点的第一网格和针对所述第一视点的第二网格。第一纹理处理器(205)响应于所述第一参考纹理图从所述第一三维图像的视点到所述述第一视点的视点变换而生成第一中间纹理图并且响应于所述第二参考纹理图从所述第二三维图像的视点到所述述第一视点的视点变换而生成第二中间纹理图。第二纹理处理器(207)响应于所述第一中间纹理图与第一所述残差数据纹理图的组合而生成第一纹理图，并且响应于所述第二中间纹理图与第二所述残差数据纹理图的组合而生成第二纹理图。图像生成器(209)根据所述第一纹理图、所述第一网格、所述第一纹理图以及所述第一网格来生成针对第二视点的图像。

技术领域

本发明涉及使用纹理图与网格来表示三维图像数据/信息，并且具体地，但非排他地，涉及包括若干三维图像的图像信号的生成、编码、与处理，每幅三维图像由纹理图与网格表示。

背景技术

通常，图像的技术处理及使用已基于二维成像，但在图像处理中正明确地考虑三维。

例如，已发展通过将正被观看的场景的不同视图提供给观看者双眼而将第三维加至观看体验的三维(3D)显示器。这能通过用户佩戴眼镜以分离被显示的两视图而实现。然而，由于这被认为对用户不便利，在许多情景中使用裸视立体(autostereoscopic)显示器是较佳的，其使用在显示器处的器件(诸如，柱状透镜、或屏障)以分离视图，并在它们可个体地抵达用户眼睛的不同方向上发送它们。立体显示器需要两个视图，然而裸视立体显示器通常需要更多视图(例如，九个视图)。

在一些情况与系统中，使用3D模型来表示3D场景，其中，所述模型被评估，以生成适当的视图图像。具有场景的深度表示的多视图可用作传统3D模型的替代或作为3D模型的附加。这种格式通常源于使用多个立体摄像机捕获场景。给定具有相关深度图的多个摄像机图像在不同位置处取得，可使用基于深度图像的绘制来合成新的虚拟视图图像。这允许捕获的图像或视频的虚拟现实回放，其中，观察者可在一定程度上改变他/她的视点。

基于三维场景的图形应用已经在许多应用中变得普遍，诸如特别是计算机图形应用。为了支持快速的三维图形处理，已经开发出许多标准与规范。这不仅提供较快的设计与实施，因为其可提供许多标准操作(诸如视点移位)的标准化功能与例程，而且允许专用硬件图形引擎针对这些例程而开发与优化。实际上，对许多计算机而言，图形处理单元(GPU)现在通常可至少与中央处理单元(CPU)—样强大和重要。

支持快速图形处理的标准的范例是OpenGL规范，所述规范提供了具有许多支持图形处理的功能的应用程序编程接口(API)。所述规范通常用于提供硬件加速图形处理，其中特定例程由GPU形式的专用加速硬件实施。

在大多数这种图形规范中，场景的表示是通过纹理图与三维网格的组合。实际上，在许多情景中，一种特别有效的方法是通过多边形网格来表示图像物体或者实际上整个场景，其中一组多边形通过其公共边或角(顶点)连接，共同边或角(顶点)通过三维位置给定。组合的三维多边形网格因此提供三维物体的有效模型，可能包括对整幅图像的三维描述。多边形网格经常是由具有在3D空间中给定的共同角的三角形所形成的三角形网格。

在实践中，深度图经常相应地变换为3D网格。3D网格是大多数硬件驱动程序(例如，基于OpenGL)支持的熟知的图形格式。