[发明专利]图像处理设备、图像处理方法以及程序

说明书

技术领域

本公开涉及一种图像处理设备、图像处理方法以及程序。更具体地，本公开涉及生成要被立体观看（三维观看）的三维图像（3D图像）的图像处理设备、图像处理方法以及程序。

背景技术

可作为具有深度的三维图像观看的立体图像（三维图像）由作为来自不同视点的图像的用于左眼的图像（L图像）和用于右眼的图像（R图像）的两个图像的组合构成。为了从两个视点获得图像（即，双眼视差图像），两个成像设备要彼此分开布置在左侧和右侧并且捕获图像。

使用包括用于左眼的图像（L图像）和用于右眼的图像（R图像）的一对图像构成捕获的一对立体图像，其中，用于左眼的图像（L图像）要通过左成像设备捕获并且由左眼观察，用于右眼的图像（R图像）要通过右成像设备捕获并且由右眼观察。

使用包括用于左眼的图像（L图像）和用于右眼的图像（R图像）的一对图像构成的一对立体图像显示在可以分离要由观察者的左眼和右眼观看的用于左眼的图像和用于右眼的图像的显示设备上，使得观察者可以将图像识别为三维图像。

另一方面，关于如下配置已经提出了各种建议：该配置用于利用从单个视点捕获的通常二维（2D）图像生成与立体图像（三维图像）相对应的、作为由用于左眼的图像和用于右眼的图像构成的双眼视差图像的三维（3D）图像。

响应于如下当前情况提出了这些建议：虽然液晶显示器和等离子显示器（PDP）近来普及作为能够进行三维（3D）显示的显示装置，但是缺少用于显示在这样的3D显示装置上的3D内容，并且期望基于将通常二维（2D）图像信号伪转换成三维（3D）图像信号（在下文中，“2D至3D转换”）的技术而弥补3D内容的缺少。

在2D至3D转换中，需要根据普通2D图像信号估计深度信息。例如，在JP10-051812A中，作为关于深度的线索，除了亮度对比度、亮度合并值、以及饱和度合并值，还基于高频分量的合并值而估计深度信息。

例如，对于利用高频分量的合并值的深度估计，执行高频分量能量越高、估计深度越浅的处理。因此，不可避免地出现：包括高频分量的区域的对比度越高，估计的深度越近。因此，具有较大对比度的边缘部分（诸如夜景霓虹灯（nightscape neon））趋于过度地飞出。另一方面，由照相机对焦的具有相对低对比度的部分（诸如动物皮毛和人皮肤上的皱纹）被估计为深侧，使得当以3D观看时，会感觉不自然的深度感。

此外，当通过与其他线索进行组合来估计深度时，执行用于基于关于亮度、饱和度等的信息而执行多个深度估计值的加权相加的处理。然而，在这样的处理中，当前，加权确定依赖于经验，使得不能实现例如基于图像信息的性质的精确控制。

在基于这样的处理的深度估计处理中，取决于场景，可能出现诸如深度感不协调的感觉的副作用。

另外，在“2D to 3D conversion based on edge defocus and segmentation”,Ge Guo,Nan Zhang,Longshe Huo,Wen Gao:ICASSP2008中，虽然基于使用小波的边缘部分的去焦分析而成功地确定具有浅的景深（depth of field）的场景的深度图信息，但是根本没有提到其他类型的场景。

发明内容

根据本公开的实施例，提供了实现如下图像转换的图像处理设备、图像处理方法以及程序，在该图像转换中，在用于将普通二维（2D）图像信号伪转换成三维（3D）图像信号的处理中抑制不自然的深度感。

例如，根据本公开的实施例，实现了基于图像的频率分析的深度估计的更精确的深度估计。

在先前的基于频率分析的深度估计技术中，如上所述，由于高频分量越大（即，包括高频的区域的对比度越高）区域被估计为越浅，因此夜景霓虹灯等的部分趋于过度地飞出。

另一方面，由照相机对焦的具有相对低对比度的部分（诸如动物皮毛和人皮肤上的皱纹）被估计为深侧，使得当以3D观看时，会感觉不自然的深度感。

在先前的基于频率分析的深度估计技术中，通常可以对于具有浅的景深的场景（其中前景对象对焦（in focus）而背景失焦（out of focus）的场景）获得良好的估计结果。然而，对于其他场景（具有深的景深的泛焦场景），错误地估计深度的可能性增大。使用该结果生成的3D图像经受产生不自然的深度感的问题。