[发明专利]用于处理组合的图像数据和深度数据的图像处理系统

说明书

技术领域

本发明涉及用于处理图像数据(包括编码和解码)的方法和系统以及用于编码的方法和设备。

编码用于三维观察的视频信息的一种方法包括将深度数据图像添加到常规编码的视频数据，使得视频数据定义了作为图像中图像位置的函数的强度和/或颜色并且深度数据图像定义了到图像位置处可见的目标的距离。

C.Varekamp的题为“Compression artefacts in 3D television signals”并且发表在The proceedings of the second annual IEEE BENELUX/DSPValley Signal Processing Symposium(SPS-DARTS 2006)，2006年3月28-29，Metropolis，Antwerp，Belgium的出版物中描述了使用这样的技术时出现的问题。

这篇论文描述了当使用像用于依照MPEG标准压缩视频信息那样的量化的DCT系数编码深度数据时出现的问题。这篇论文指出，在解码量化的DCT系数之后，可能由解压缩的深度数据限定目标深度边界(深度步长)的人为不规则局部移位。结果，目标深度边界不再与图像中的强度边缘重合。当深度数据用来改变图像所描绘的场景的视点(viewpoint)时，这导致目标的可见锯齿状边缘。除了建议编码较低分辨率(降尺度)深度图并且在解码之后对这种深度图(或者更一般地说为深度数据)进行插值，这篇论文没有描述这个问题的解决方案。其次，建议了执行边缘保持后滤波以便减少伪像(artefact)。

发明内容

首先，本发明的目的是提供用于编码和解码包括深度信息的图像数据的方法和系统，其受压缩误差的损害较小。

依照一个方面，提供了依照权利要求1的方法。这里，在压缩之前执行深度数据的膨胀，从而将其中深度数据指示不同距离处的区域之间的深度边缘的图像位置移动到具有最大距离的区域中。因此，深度边缘变成位于这样的图像位置，在这些图像位置处，深度边缘两侧上的图像数据相应于最大距离处的目标。已经发现，这以最小的图像校正防止了伪像的出现。在一个实施例中，这应用于根据解压缩的图像数据和解压缩的膨胀的深度数据计算合成视点的图像。膨胀防止了在这种情况下当对应不同位置的强度数据彼此移动时出现伪像。

在另一个实施例中，对图像适应性地设置膨胀的量。检测其中压缩和解压缩的组合造成距离的误差的位置。根据图像中作为位置的函数的梯度和检测的位置的重合的度量，调节膨胀的量。这样，可以设置膨胀的量以便最小化伪像。这也可以用来在解压缩之后控制膨胀。

附图说明

根据使用下列附图的示例性实施例的描述，这些和其他的目的和有利方面将变得清楚明白。

图1示出了图像处理系统；

图2示出了压缩装置；

图3示出了压缩流程图；

图4示出了解压缩装置。

具体实施方式

图1示出了图像处理系统，其包括照相机10、压缩装置12、信道14、解压缩装置16以及深度相关处理单元18。

照相机10设有图像传感器100和深度确定单元102。照相机10具有用于向压缩装置12提供图像数据和深度数据的输出端104。图像数据定义了作为图像中位置的函数的图像强度以及优选地还有颜色。深度数据定义了从照相机到目标的距离，图像数据作为图像中位置的函数被认为是所述目标的属性。

确定深度的特定方法对于本发明而言不是关键的。可以使用各种不同的方法，例如使用立体图像传感器，接着确定不同的立体图像中的图像位置之间的对应性，分析照相机移动时目标成像所在的图像位置的变化，从图像获取深度(depth-from-image)的技术(例如从聚焦获取深度(depth from focus))，除了图像传感器100之外还使用深度传感器，人工或半人工深度图创建等等。许多这样的技术本身是已知的。举例而言，在图像传感器100与深度确定单元102之间示出了连接，以便说明使用图像传感器100捕获的图像来确定深度。然而，如果使用了单独的深度感测方法，那么就可以不需要这样的连接。优选地，以将图像流描述为时间的函数的数据以及相应的深度数据流的形式提供图像数据和深度数据。为了进行说明，对于图像数据和深度数据示出了单独的连接，但是应当理解的是，该数据可以在共享的连接上复用。