[发明专利]图像处理装置、图像处理方法和程序

说明书

技术领域

本公开涉及图像处理装置、图像处理方法和程序。更具体而言，本公开涉及执行用于生成要立体观看(三维观看)的三维图像(3D图像)的处理的图像处理装置、图像处理方法和程序。

背景技术

可作为具有深度的三维图像观看的立体图像(三维图像)是由作为来自不同视点的图像的左眼用图像和右眼用图像这两个图像的组合构成的。为了获得来自两个视点的图像，也就是双眼视差图像，两个成像装置被布置在左侧和右侧、相互离开，并且捕捉图像。

一对捕捉的立体图像是利用包括由左侧成像装置捕捉并由左眼观察的左眼用图像和由右侧成像装置捕捉并由右眼观察的右眼用图像的一对图像构成的。

利用包括左眼用图像和右眼用图像的该对图像构成的该对立体图像被显示在显示装置上，该显示装置能够分离左眼用图像和右眼用图像以由观察者的左眼和右眼观看，以使得观察者能够将图像识别为三维图像。

然而，当利用两个相机拍摄来自两个视点的图像时，应当执行对这两个相机的精确同步控制，同步控制是非常困难的，并且对会聚角的准确控制是非常困难的。

在日本专利申请公布No.6-054991中公开了一种三维拍摄装置，其中组合了被偏振得成为正交关系的偏振滤光器(polarization filter)以促进对透镜系统的调整以便执行三维拍摄，并且共享了光学系统。

在日本专利申请公布No.2004-309868中公开了一种利用包括两个透镜和一个成像单元的成像装置执行三维拍摄的方法。日本专利申请公布No.2004-309868中公开的该成像装置把被布置得相互分离与人类视差相应的间隔的(a)透镜和水平成分偏振滤光器的组合构成和(b)透镜和垂直成分偏振滤光器的组合构成设定到离CCD的成像表面预定距离的位置并且利用(a)和(b)这两个组合构成来获取左眼用图像和右眼用图像。

发明内容

根据日本专利申请公布No.6-054991中公开的技术，通过重叠两个偏振滤光器的输出并且形成单个光路来共享透镜系统。

然而，还应当提供一偏振滤光器来在随后的步骤中提取左眼用图像和右眼用图像，应当再次分割光路，并且应当使光入射在每个偏振滤光器上。因此，在透镜系统中产生光损失并且难以减小装置的大小。

根据日本专利申请早期公布No.2004-309868中公开的技术，因为应当提供两组透镜和偏振滤光器，所以装置变得复杂并且装置的大小增大。

本公开是鉴于上述情况而作出的并且提供了对由一个成像装置拍摄的图像执行处理并且生成作为三维图像观察的图像的图像处理装置、图像处理方法和程序。

本公开提供了用于生成要应用到三维图像显示的图像的对二维图像执行插值处理的图像处理装置、图像处理方法和程序。

根据本公开的第一实施例，提供了一种图像处理装置，其包括：第一偏振单元，该第一偏振单元具有透过相当于不同视点图像的不同偏振光的第一偏振区域和第二偏振区域；第二偏振单元，该第二偏振单元使第一偏振单元的透过光入射，并且包括仅透过第一偏振区域的透过光的第三偏振区域、仅透过第二偏振区域的透过光的第四偏振区域以及透过第一偏振区域和第二偏振区域的透过光的全透过区域；成像元件，该成像元件接收第二偏振单元的透过光；以及图像处理单元，该图像处理单元对成像元件的输出信号执行信号处理。图像处理单元包括：视差检测单元，该视差检测单元应用基于第二偏振单元的第三偏振区域的透过光的图像和基于第二偏振单元的第四偏振区域的透过光的图像这两个不同视点图像并且生成反映了对象距离的视差信息；图像校正单元，该图像校正单元对来自成像元件的输入图像执行校正处理并且生成二维图像；以及视差图像生成单元，该视差图像生成单元应用由视差检测单元生成的视差信息，执行对由图像校正单元生成的二维图像的图像转换处理并且生成用于三维图像显示的左眼图像和右眼图像。

在根据本公开的实施例的图像处理装置中，图像校正单元包括：亮度校正单元，该亮度校正单元执行亮度校正以将作为与第二偏振单元的第三偏振区域和第四偏振区域相对应的像素的偏振区域像素(PL像素)和偏振区域像素邻近像素(PL像素邻近像素)的亮度与对应于全透过区域的全透过区域像素(N像素)的亮度相匹配；反射检测单元，该反射检测单元以偏振区域像素(PL像素)为单位生成反射信息，该反射信息是关于在每个像素值中是否包括反射光成分的判定信息；梯度检测单元，该梯度检测单元以偏振区域像素(PL像素)为单位生成与周边像素的多个方向的像素值变化率相对应的梯度信息；以及插补处理单元，该插补处理单元根据反射信息和梯度信息选择参考像素，应用所选参考像素的像素值并且执行偏振区域像素(PL像素)的像素值插补处理。