[发明专利]图像处理装置、图像拍摄装置、图像处理方法和程序

说明书

技术领域

本公开涉及用于通过利用以不同曝光时间拍摄的多个图像产生具有宽动态范围的图像的图像处理装置、采用该图像处理装置的图像拍摄装置、用于该图像处理装置的图像处理方法以及实施该图像处理方法的图像处理程序。

更具体地，本公开涉及用于在用以产生具有宽动态范围的图像的操作中，通过利用具有不同曝光时间的多个图像来抑制视频中产生的闪烁(flicker)和彩色信号系统的闪烁的机构。这些闪烁是由于对于拍摄图像存在的光源之间的差异、照明光中包括的作为电源频率波动的波动或余辉(afterglow)的特性而引起的。视频中产生的闪烁也称为光源闪烁，而彩色信号系统的闪烁也称为颜色闪烁或色漂(color rolling)。

背景技术

用于拍摄图像拍摄对象的图像的图像拍摄装置包括用于控制入射到装置的像素部分的光量的机构。图像拍摄装置一般是CCD(电荷耦合器件)、MOS(金属氧化物半导体)或CMOS(互补MOS)型的固态图像拍摄装置。在下面的描述中，也将像素部分称为图像拍摄部分、像素阵列部分、图像传感器或光电转换传感器，而也将该机构称为入射光量控制器。

入射光量控制器是在其图像拍摄透镜上提供了机械光圈(diaphragm)机构的控制器，或者在其图像拍摄透镜上提供了机械快门机构的控制器。在下面的描述中，将机械光圈机构称为机械虹膜(iris)，而将机械快门机构仅称为机械快门。作为替代，入射光量控制器也可以是具有所谓的电子快门功能的控制器，所述电子快门功能能够控制固态图像拍摄装置的像素部分中信号电荷的累积时间的长度。在下面的描述中，累积时间也称为曝光时间。

机械光圈和机械快门可以彼此独立地使用。然而，也可以通过将机械光圈与机械快门或电子快门进行组合来使用机械光圈。

顺便提及，如果多种图像拍摄装置用于通过利用置于稳定状态(其中，光源产生的光的亮度不会变化)下的光源来拍摄图像，则所述装置不会带来问题。然而，如果通过利用具有周期性发光特性且与半导体图像拍摄装置的曝光周期异步工作的光源(如，荧光灯)来拍摄图像，则产生光源闪烁。

要注意的是，光源闪烁与作为屏幕亮度的闪烁的亮度闪烁不同，并且与也简称为颜色闪烁或色漂的颜色再现闪烁不同。

光源闪烁被感知为这样的现象：其中，视频信号由于光源的亮度变化与图像拍摄装置的曝光周期之间的关系而改变。

例如，视频信号的亮度信号分量由于利用具有频率f的商用电源的光源的亮度变化而改变，并且由于具有图像拍摄装置的场周期fv的差拍分量(beat component)而改变。在这种情况下，亮度变化是1/nf秒的时段内的变化，其中参考标记n通常是整数2。由于视频信号的亮度信号分量改变，因此输出视频同样在与人眼的余辉特性也有关的时段变化。感觉到图像闪烁的现象称为亮度闪烁。

例如，在采用具有60Hz场频的NTSC制式并且商用电源的频率f为50Hz的区域中，易于产生亮度闪烁。在采用具有50Hz场频的PAL制式并且商用电源的频率f为60Hz的区域中，也易于产生亮度闪烁。另外，与电灯泡相比，荧光灯的亮度由于荧光灯的发光特性而改变，从而荧光灯非常显著地产生亮度闪烁。

要注意的是，60Hz场频的声明换言之可称为30fps帧频的声明。更准确来说，场频是59.94Hz。另一方面，50Hz场频的声明换言之可称为25fps帧频的声明。

例如，荧光灯的发光周期是10ms，而具有60Hz场频的NTSC制式中的曝光操作的周期是16.7ms。在这种情况下，荧光灯的发光周期与NTSC制式中的曝光操作的周期的最小公倍数是50ms。也就是说，在三个曝光操作中，荧光灯的发光周期与NTSC制式中曝光操作的周期之间的关系被恢复。因此，存在三种曝光周期。固态图像拍摄装置在这三个曝光周期之间输出的信号的电平差异使得以20Hz的闪烁频率F产生闪烁。

另外，如果使用电子快门的功能，则快门模式下操作的快门速度越高，一场时段中包括的作为用于在固态图像拍摄装置中累积电荷的累积时间的时间就越短。

因此，闪烁的幅度变得大于1/60秒的正常快门速度的闪烁的幅度。电子快门的速度越高，产生的闪烁就越明显。结果，在屏幕上出现主要包括图像亮度闪烁的闪烁，使得屏幕上显示的图像质量显著地恶化。

另外，绿、红和蓝色是在荧光灯中使用的荧光物质的三种颜色。即使以相同的时序开始三种颜色的发射，三种颜色的光量也以不同的速率减小，从而三种颜色最终在不同时间消失。也就是说，荧光灯发射的光随着时间的经过而改变其光谱。