[发明专利]进深信息生成装置、进深信息生成方法及立体图像变换装置

说明书

技术领域

本发明涉及进深信息生成装置、进深信息生成方法及立体图像变换装置，特别涉及用来根据二维图像生成进深图的进深信息生成装置、进深信息生成方法及立体图像变换装置。

背景技术

已知有如下方法：生成二维图像（2D图像）中的进深信息（以下，记作进深图），使用所生成的进深图将对应于2D图像的立体对（左眼图像及右眼图像）进行合成，从而将2D图像变换为三维图像（3D图像）。

例如，在专利文献1中，公开了基于包含视差信息的2D图像制作3D图像的方法。具体而言，在专利文献2中，输入2D图像，从所输入的2D图像中提取人物的脸部的图像而取得脸部图像，通过对所取得的脸部图像赋予视差信息而制作3D图像。并且，将制作出的3D图像为了显示在终端屏幕等而输出。

此外，例如在专利文献2中，公开了根据基本构造模型及非3D图像生成进深图的方法。具体而言，在专利文献2所公开的方法中，为了推测场景的进深构造，首先，计算该场景的非3D图像（2D图像）中的规定区域的高频成分或像素值的亮度信号的活度（activity）的统计量。接着，基于计算出的统计值及各区域中的其构成比，对该非3D图像生成3种基本进深图模型。最后，通过将非3D图像的R信号（RGB颜色空间中的R成分）叠加在所生成的基本进深模型中，生成针对该非3D图像的进深图。这样，在专利文献1中，根据非3D图像推测进深信息。

此外，例如在专利文献3中，公开了使用基于样本图像生成的进深图从2D图像变换为3D图像的方法。在专利文献3所公开的方法中，首先，使用作为背景图像存储有包含进深信息的样本图像的数据库，匹配所输入的2D图像的背景图像。接着，基于匹配的背景图像，提取前景图像。此外，利用使用了基于图形的段的颜色划分方法或比较技术，检测2D图像的前景图像。这样，通过提取前景图像及背景图像，生成前景图像与背景图像的相对的进深图。这样，在专利文献3中，基于样本图像生成进深信息。

此外，作为为了使用运动信息得到运动视差而生成进深图的方法，已知有Shape From Motion（SFM）法。在SFM法中，对于由移动体的视差形成的三维空间（3D空间）的对象物，在视频帧及模型整体上推测对象物的运动。另外，在SFM法中，设为距摄像机近的对象物相比于距摄像机远的对象物具有更大的视差来推测对象物的运动。

现有技术文献

专利文献

专利文献1：日本特开2002－194285号公报

专利文献2：美国专利第7262767号说明书

专利文献3：美国专利申请公开第20100014781号说明书

发明概要

发明要解决的问题

但是，在通过上述以往的方法生成进深图的情况下，如以下说明那样，有3D弹出（pop up）效果不充分、对视听者带来不协调感的问题。

首先，在专利文献1所公开的方法中，只是提取脸部并对所提取的脸部赋予进深值，不是将人物的身体整体进行3D弹出，因此3D弹出效果不充分。即，给视听者带来不协调感。特别是，在较大的屏幕上的显示中，不协调感较大，3D弹出效果不充分。

接着，在专利文献2所公开的方法中，存在生成不自然而不舒服的（有不协调感的）3D图像、特别是在边界的周边发生人为现象（artifact）的问题。这起因于R信号追加处理及基本场景构造的模型。

接着，在专利文献3所公开的方法中，人物等的对象物被识别为前景图像，但在时间序列上的图像（影像）中，对象物并不一定被识别为前景图像，所以存在发生帧间的闪烁的问题。此外，为了避免该闪烁的发生，需要进深图的时间序列上的平滑化方法，但在专利文献3中没有该技术的公开及暗示。

最后，在作为其他的已知方法的SFM法中，有在静止图像或相对没有运动的部分中不能制作3D的对象物的问题。

这样，在使用通过上述以往的方法生成的进深图将2D图像变换为3D图像的情况下，有3D弹出效果不充分、对视听者带来不协调感的问题。

发明内容

本发明是鉴于上述情况而做出的，目的是提供一种生成用来显示不对视听者带来不协调感的3D弹出的进深图的进深信息生成装置及进深信息生成方法。

用于解决问题的手段