[发明专利]用于处理深度图的方法和设备

说明书

技术领域

本发明涉及用于处理深度图的方法和设备。

背景技术

一段时间以来，不同的公司一直在积极开发适用于再现三维(3D) 图像的自动立体显示器。自动立体设备可以向观众呈现3D印象而不需要 专门的头盔和/或眼镜。

自动立体显示器通常对于不同的观察角度提供不同的视图。通过这 种方式，可以对于观众的左眼产生第一图像并且对于观众的右眼产生第 二图像。通过显示适当的图像，即分别从左眼和右眼的视点来看适当的 图像，有可能向观众传递3D印象。

各种各样的技术用来产生用于自动立体显示器的图像。例如，多视 图图像可以利用多个照相机来记录，其中各照相机的位置与每个各自的 视图的各自的视点相对应。

为了维持向后兼容性并且改善带宽的使用，许多当前的自动立体显 示器使用了包括常规二维(2D)图像和相对应深度图的序列的输入信号。

深度图提供了指示图像中描绘的目标到照相机的绝对或相对距离 的深度信息。举例而言，8位灰度级图像通常用来表示深度信息。深度 图可以逐像素地提供深度信息，但是技术人员应当清楚的是，深度图也 可以使用更粗的粒度，例如较低分辨率的深度图，其中每个深度图值提 供关于多个像素的深度信息。

视差图可以用作上述深度图的替代方案。视差指的是当从两个不同 的视点观察时，例如从左眼和右眼视点观察时，场景中目标的表观移动。 视差信息和深度信息是相关的，并且在视差图的各视点的几何关系 (geometry)已知的条件下可以彼此映射，这是本领域技术人员所公知 的。

鉴于这种密切的关系以及其中一个可以转换成另一个这一事实，整 个说明书中使用的术语“深度图”和“深度信息”应当被理解为包括深 度信息以及视差信息。

通过向自动立体显示器提供图像序列和相对应的深度信息图(或者 简称为深度图)序列，自动立体显示器可以为一个或多个观众再现内容 的多个视图。在上面的方式中，常规的信号利用深度图得到增强。

为了提高使用2D+深度信号的多视图再现的质量，可以提供也称为 去遮挡信息的附加遮挡信息。(去)遮挡信息涉及可以用来再现与提供 的2D+深度信息的视点不同的视点的视图的图像和/或深度信息。当基于 2D+深度信息再现与该2D+深度信息的视点不同的视点的视图时，可能 需要原始2D+深度信息中不存在的信息。该信息可以在遮挡信息中提供； 除了被目标遮挡的信息之外，遮挡信息也可以包括被遮挡区域附近的信 息。遮挡信息的可用性允许对孔进行填充，这发生在使用2D+深度信号 再现视图的时候。在整个本申请中，术语遮挡信息应当被理解为包括在 视图再现过程中可以用于填充去遮挡的区域的被遮挡图像信息和/或被 遮挡深度信息。

国际申请WO2006/137000公开了一种组合交换图像数据和另外的 数据(例如遮挡数据)的方法。尽管上面的格式尤其非常适合于例如机 顶盒(STB)与显示器之间的3D内容的交换，但是当在带宽有限的介质 上传输或分发这样的内容时，存在进一步减小这样的3D内容的大小的需 要。虽然诸如基于DCT的有损压缩算法之类的有损压缩算法可以提供大 小方面的显著降低，但是它们也倾向于引入噪声。Chris Varekamp在the second annual IEEE BENELUX/DSP Valley Signal Processing Symposium (SPS-DARTS 2006)上提交的“Compression artifacts in 3D television signals”表明，作为多视图再现过程的结果，深度图中的噪声效应特别 是在目标边界上可能导致严重的视差误差。这种效应是以下事实的直接 结果：调整压缩算法以减小深度图中而不是得到的再现的多视图图像中 的感知误差。

发明内容

本发明的目的是提供一种处理深度图的方法，其旨在降低源于有损 压缩算法的深度图中的噪声效应。

这个目的的实现在于，依照本发明的方法包括：基于有损压缩深度 图获得深度图，该深度图包含一视点的场景的深度信息，该场景包括目 标；获得有关该视点的场景的遮挡信息，该遮挡信息包括被深度图中的 目标遮挡的信息；以及使用该遮挡信息的至少一部分处理深度信息的至 少一部分以便减少深度图中的压缩伪像。