[发明专利]用于确定图像的深度图的方法和装置

说明书

一种装置接收图像以及包括输入深度值的相关联深度图。轮廓检测器（405）检测图像中的轮廓。模型处理器（407）通过将深度模型拟合至针对轮廓的输入深度值而生成针对轮廓的轮廓深度模型。深度值确定器（409）从所述轮廓深度模型针对所述轮廓的至少一个像素确定深度模型深度值。所述深度模型例如可以对应于单个深度值，所述单个深度值例如可以被设置为最大输入深度值。修改器（411）通过修改所述相关联深度图的深度值而从所述相关联深度图生成经修改的深度图。这包括响应于所述深度模型深度值而针对所述经修改的深度图中的像素生成经修改的深度值。所述深度模型深度值例如可以替代所述像素的输入深度值。

技术领域

本发明涉及一种用于确定图像的深度图的方法和装置，尤其但并非排他地，所述方法和装置用于基于估计差异值来确定深度图。

背景技术

三维（3D）显示器通过为观看者的双眼提供所观看的景象的不同视图而对观看体验增加了第三维度。这能够通过使用户佩戴眼镜以将所显示的两个视图分离来实现。然而，由于这可能被认为造成用户的不便，所以在许多情形下优选使用裸眼立体显示器，所述裸眼立体显示器使用了分离视图的显示器处的器件（诸如柱状透镜或光栅）以及将它们以不同方向发送，其中它们可以单独地到达用户的眼睛。对于立体显示器而言需要两个视图，而裸眼立体显示器则通常需要更多视图（作为示例，诸如九个视图）。

所呈现的三维图像的质量取决于所接收图像数据的质量，并且特别地，三维感知的质量取决于所接收到的深度信息的质量。然而，在许多实际应用和情形中，所提供的深度信息往往是次优的。

例如，在许多实施例中，可能想要针对新的取景方向生成视图图像。而已知有各种算法是基于图像和深度信息来生成这样的新的视图图像，它们往往高度依赖于所提供（或得出）的深度信息的准确性。

实际上，三维图像信息经常由对应于景象的不同取景方向的多个图像所提供。特别地，所生成的诸如电影或电视节目之类的视频内容越来越多地包括一些3D信息。这样的信息可以使用专用的3D相机来捕捉，所述3D相机从稍具偏移量的相机位置捕捉两个同时的图像。

然而，在许多应用中，所提供的图像可能并不直接对应于所期望的方向，或者会要求更多的图像。例如，对于裸眼立体显示器而言，就需要多于两个的图像，并且实际上经常使用9-26个视图图像。

为了生成对应于不同取景方向的图像，可以采用视点转移（view pointshifting）处理。这通常由视图转移算法来执行，所述算法使用单个取景方向的图像以及相关联的深度信息。然而，为了生成没有明显伪像的新的视图图像，所提供的深度信息必须是足够准确的。

不幸的是，在许多应用和使用情形中，所述深度信息可能并不像所期望的那样准确。实际上，在许多情形下，深度信息是通过比较不同取景方向的视图图像来估计并提取深度值而生成的。

在许多应用中，使用处于稍微不同位置的两个相机将三维景象捕捉为立体图像。具体的深度值随后可以通过估计这两个图像中的相对应图像对象之间的差异而生成。然而，这样的深度提取和估计是有问题的，并且往往导致非理想的深度值。这也会导致伪像以及有所退化的三维图像质量。

三维图像退化和伪像对于不同图像对象之间的变换（transition）而言往往特别重要。进一步地，基于相关联图像的差异估计对深度信息的确定通常还涉及到对图像对象的特性的考虑。通常，差异估计算法通过在局部比较左侧图像中的点与右侧图像中其相对应的点之间的颜色差异来搜索左侧和右侧图像之间的对应性。

然而，所产生的深度图通常是相对不准确的，并且为了改善所述深度图而应用所述深度图的后期滤波。所述后期滤波可以特别地是双边颜色和/或亮度的自适应滤波，其中滤波核心适于反应图像的视觉属性。这样的双边滤波可以产生适于更紧密符合图像特性的深度图，并且它可以使得所估计差异的一致性和时间稳定性有所改善，或者例如可以在不同图像对象之间提供更为锐利的深度变换。