[发明专利]图像处理装置及其控制方法

说明书

技术领域

本发明涉及一种图像处理装置，更具体地，涉及一种检测并校正缺陷的图像处理装置及其控制方法。

背景技术

在近来的数字图像处理技术中，被称为光场(light field)摄影的研究领域的进展显著。在光场摄影中，首先拍摄图像，以使得从包括摄像光学系统(诸如透镜)和固态摄像传感器(诸如CCD或CMOS传感器)的摄像装置获得的所拍摄图像不仅包括被摄体场景(object field)的二维光强度信息，而且包括光束角度信息。

包括光束角度信息的拍摄图像相当于在所谓的相位差自动对焦检测(AF)中超过一对光瞳的划分的、相当大数量的光瞳的划分。当直接观察该拍摄图像时，该图像是并不总是具有重要信息的列表和顺序的数据。为了解决该问题，已提出了一种摄像装置和图像处理装置，其能够通过执行与获得拍摄图像的摄像处理密切相关的重构图像处理而在摄像后对被摄体场景中的任意物体执行再次聚焦(下文中称为“重聚焦”)。

这种摄像装置和图像处理装置的示例是文献1“Ren.Ng，et al.，‘利用手持式全光相机的光场摄影’，斯坦福技术报告CTSR 2005-02(Ren.Ng，et al.，′Light Field Photography with a Hand-Held Plenoptic Camera′，Stanford Tech Report CTSR 2005-02)”中描述的手持式全光相机(下文中也称为“光场相机”)。该光场相机的构件如下：作为众所周知的摄像装置中的摄像光学系统的“主透镜”主要在具有预定间距的“微透镜”阵列上形成被摄体图像。包含间距小于预定间距的光电转换元件的“固态摄像传感器”被布置在微透镜阵列的后面。

换句话说，通过特殊的摄像处理和以此为前提的图像处理，文献1中描述的光场相机获得了具有众所周知的摄像装置所不能获得的新信息的图像。

相反地，在通常众所周知的摄像装置中执行的大多数图像处理都是基于下述假设来执行的，即：构成拍摄图像的光电转换元件的信号在某种程度上具有连续性。一个示例是实时缺陷像素检测方法，该方法在摄像装置的每次摄像中，根据与周围光电转换元件的信号的水平差确定缺陷像素。

例如，日本特开第2005-286825号公报公开了一种缺陷像素校正装置，其特征在于包括：第一缺陷像素检测单元，其被配置为通过将从多个像素输出的各个信号与预定值比较来检测缺陷像素；第一校正单元，其被配置为校正来自所述第一缺陷像素检测单元检测到的缺陷像素的信号；第二缺陷像素检测单元，其被配置为通过将从已对所述第一缺陷像素检测单元检测到的缺陷像素执行了校正的多个像素输出的各个信号与预定值比较，来检测缺陷像素；以及设置控制单元，其被配置为将所述第一缺陷像素检测单元中的预定值和所述第二缺陷像素检测单元中的预定值设置为彼此不同。

日本特开第2005-286825号公报还公开了第一缺陷像素检测单元检测到的缺陷像素的信息被记录，并且第二缺陷像素检测单元甚至参照第一缺陷像素检测单元中的缺陷像素信息。此外，日本特开第2005-286825号公报描述了：确定检测到的像素实际上是缺陷像素还是被摄体边缘，以及如果检测到的像素被认为是被摄体边缘，则不执行校正以防止图像质量劣化。

实时缺陷像素检测在抑制伴随着未被记录在摄像装置的存储器等中的后续缺陷像素、或者在每次摄像中输出水平都会变化的闪烁缺陷像素而产生的图像质量劣化方面尤其有效。然而，实时缺陷像素检测方法中最重要的任务是在应作为校正目标的缺陷像素和被摄体边缘间进行区分。

在众所周知的摄像装置中，构成拍摄图像的单位要素通常被称为“像素”。没有必要明确地区分用作构成固态摄像传感器的单位要素的“光电转换元件的信号”和用作构成经过信号处理的最终图像的单位要素的“像素”。然而，在光场相机中，它们是应该被明确区分的概念。

如上文所述，为了获得例如重聚焦重构处理的显著特征，如上文所述的特殊摄像处理在光场相机中占据重要位置。特殊摄像处理是指同时获取光强度信息和光束角度信息。光束角度信息出现在与一个微透镜对应的数个光电转换元件的强度分布中。此时，出现图像偏移(image shift)，在该图像偏移中，多个光电转换元件的信号的强度分布根据离被摄体的距离和摄像光学系统的聚焦而偏移。图像偏移是一种在由属于微透镜的相同象限的光电转换元件的信号构成的图像中出现坐标偏移的现象。在相位差检测AF中，图像偏移被认为是一对图像间的偏移到多个图像间的偏移的扩展。