[发明专利]针对三维图像的三角形网格的生成

说明书

一种装置被布置为生成用于三维图像的三角形网格。该装置包括提供深度图的深度图源(101)和根据所述深度图生成k‑D树的树生成器(105)。k‑D树表示深度图区域的分级布置，该分级布置满足针对未划分区域的深度变化度量低于阈值的要求。三角形网格生成器(107)在k‑D树的每个区域内定位内部顶点。然后通过将所述三角形网格的三角形的边形成为相邻区域的内部顶点之间的线来生成三角形网格。该方法可以生成适合很多3D视频处理算法的改进的三角形网格。

技术领域

本发明涉及针对三维图像的三角形网格的生成，更具体而言，但不排他地涉及针对由二维图像和深度图表示的三维图像的三角形网格的生成。

背景技术

三维(3D)显示通过为观看者的双眼提供被观看场景的不同视图，向观看体验增加了第三个维度。这可以通过让用户佩戴眼镜以分离显示的两个视图来实现。然而，由于用户可能会认为这样不方便，因此在很多场景中优选使用自动立体显示，其在显示器处使用设备(例如双凸透镜或屏蔽)以分离视图，并在不同方向上发射它们，在这些方向上它们可以逐个到达用户的眼睛。对于立体显示而言，需要两个视图，而自动立体显示典型地需要更多视图(例如，九个视图)。

为了实施3D功能，重要的是可以采用三维信息的有效表示和处理。一种被广泛使用的方法是由能够通过适当算法处理和操控的三维对象表示三维信息。

在很多场景中特别有效的方法是由多边形网格表示图像对象，在网格中通过其公共边或角连接一组多边形，该边或角是由三维位置给出的。因此，组合的三维多边形网格提供了三维对象的有效模型，可能包括整个图像的三维描述。多边形网格通常是由具有在3D空间中给出的公共角的三角形形成的三角形网格。

在这样的表示中，多边形网格用于提供对象的三维几何形状的信息，而纹理通常被提供为独立的数据结构。具体而言，纹理常常被提供为独立的二维图，其能够通过处理算法被叠加在三维几何形状上。

使用三角形网格尤其适于通过计算机图形算法处理和操控，并且很多有效软件和硬件方案已经被开发出来并在市场上可获得。在很多系统中，基本的计算效率是通过算法处理公用于多个多边形的个体顶点而非独立处理每个多边形来实现的。例如，对于典型的三角形网格而言，个体顶点常常是几个(常常为3-8个)三角形公共的。因此单个顶点的处理可以适用于较高数量的三角形，由此显著减少了图像或其他对象中被处理点的数量。

作为具体示例，很多当前的片上系统(SoC)包含图形处理单元(GPU)，其为处理3D图形进行了高度优化。例如，3D对象几何形状和3D对象纹理的处理是在所谓的OpenGL绘制管线(或在诸如DirectX的很多其他API)中使用两条大致分离的路径进行的。SoC上的GPU的硬件可以高效率地处理3D图形，只要以(典型为三角形的)顶点和纹理的形式向GPU呈现3D源即可。OpenGL应用接口然后允许设置和控制虚拟透视相机，该相机确定如何将3D对象表示为如同投射在2D屏幕上那样。尽管OpenGL使用3D对象作为输入，但输出典型为标称2D显示器上的2D图像。

然而，尽管这样的方法在很多场景中很吸引人，但其需要由多边形网格和关联的纹理信息提供三维信息。然而，在很多应用中，可以通过不同格式，例如图像和深度图提供三维图像数据。

实际上，广泛使用的3D格式是具有深度图的视频，深度图典型地是在后期制作中产生，根据立体视频估计，或使用深度相机捕获的。另一种常常使用的3D格式是使用对应于左右眼视图的立体图像。这样常用的格式不包含由多边形和纹理表示的静态对象。

对于这样的应用，因此希望进行变换，将视频加深度(或立体图像)格式变换成由多边形网格和纹理图像构成的格式，这种格式会直接适合使用例如openGL算法回放。