[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本公开涉及一种图像处理装置和图像处理方法，更具体地，涉及一种能够使得当插值方法改变时前帧和后帧的不匹配不容易被注意到的图像处理装置、图像处理方法和程序。

背景技术

在三维（3D）图像显示处理中，一种使得用户能够在不佩戴眼镜的情况下感知立体图像的裸眼式3D显示设备已经开始投入实际应用。该裸眼式3D显示设备包括设置在显示平面上的双凸透镜片或视差屏障，并且通过观看位置控制输入到左眼和右眼的图像。即，裸眼式3D显示设备执行控制操作以使得与从左眼观察到的图像对应的左视点图像由左眼观察到，以及与从右眼观察到的图像对应的右视点图像由右眼观察到。

但是，根据以上方法，仅在相对于显示器的有限的观看位置处获得正确的立体视觉。因此，当用户的观察位置与预定位置不同时，发生针对右眼的图像（右视点图像）可能输入到左眼而针对左眼的图像（左视点图像）可能输入到右眼的颠倒（reverse）视觉，或者左视点图像和右视点图像混合的串扰。

同时，已经提出了如下配置：其中，不仅生成和显示与一个常规观察位置对应的标准左视点图像和标准右视点图像，而且生成和显示来自被设置为当在其他观察位置处观察显示器时不引起串扰的新视点的图像。

不仅一组原始左视点图像和右视点图像而且其他虚拟视点的图像均被生成为多视点图像，根据用户的观察位置从多视点图像中选择一组最佳左视点图像和右视点图像，并且执行抑制颠倒视觉或串扰的图像显示。即，即使在用户的观察位置改变时，也使得根据用户的观察位置而不同的一对左视点图像和右视点图像被观察到，并且使得根据观察位置的左视点图像和右视点图像被观察者的左眼和右眼观察到。

具体地，基于原始的两视点图像即输入到显示设备或图像处理装置的用于3D图像显示的左视点图像（L图像）和右视点图像（R图像）的两个视点图像执行插值，以使得生成两个视点以外的虚拟视点的视点图像。

使得所生成的多视点图像中根据用户相对于显示器的观察位置的两个最佳图像的组合被用户观察到，并且使能在各个观察位置处的3D图像的观察，在该3D图像中，抑制了左视点图像和右视点图像混合的串扰。

例如，在日本专利申请特开平（JP-A）2006-115198中提出了如下方法：输入原始左视点图像（L图像）和原始右视点图像（R图像），执行来自两个图像的视差检测；以及基于所检测的视差信息生成多个虚拟视点图像。具体地，公开了如下方法：检测来自输入左视点图像（L图像）和输入右视点图像（R图像）的两个原始3D图像的视差；基于串扰量或者融合视差范围来确定与输入LR图像的视点位置不同的虚拟视点位置。

发明内容

如上所述，已经提出了如下插值方法：当生成除了两个视点以外的虚拟视点的视点图像时，基于左视点图像（L图像）和右视点图像（R图像）的两个视点图像执行插值。

但是，当仅单一插值方法对应于所有输出相位时，在生成的虚拟视点图像中可能发生失真或模糊。

当多种插值方法一起使用时，如果输出相位可以随时间改变，则虚拟视点图像可以随时间改变。

期望使得当插值方法改变时，前帧和后帧的不匹配能够不容易被注意到。

根据本公开的一个实施例，提供了一种图像处理装置，包括：视差估计单元，从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；插值方向控制单元，根据示出基于所述视差估计单元生成的视差信息的变化的程度的参数，控制包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及虚拟视点图像生成单元，在其改变由插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

插值方向控制单元可以在所述参数示出的变化大的时候禁止所述虚拟视点图像的插值方向的改变。

插值方向控制单元可以在所述参数示出的变化小的时候执行所述虚拟视点图像的插值方向的改变。

基于视差估计单元生成的视差信息的变化可以是时间变化。

图像处理装置还可以包括可靠性计算单元，计算由视差估计单元生成的视差信息的可靠性。示出基于视差估计单元生成的视差信息的变化的程度的参数可以是可靠性计算单元计算的视差信息的可靠性，插值方向控制单元可以根据可靠性计算单元计算的视差信息的可靠性来控制虚拟视点图像的插值方向的改变。