[发明专利]图像处理装置、图像摄取装置、图像处理方法及程序

说明书

技术领域

本发明涉及图像处理装置、图像摄取装置、图像处理方法及程序。特别地，本发明涉及生成具有高动态范围(宽动态范围)的图像的图像处理装置、图像摄取装置、图像处理方法和程序。

背景技术

在视频相机或数字静止相机中使用的诸如CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器之类的固态图像摄取元件通过蓄积与入射光量一致的电荷并输出与所蓄积的电荷相对应的电信号来执行光电转换。然而，可在光电转换元件中蓄积的电荷量是有限的，因此当已经接收到特定光量时，达到饱和水平，于是导致具有特定明度(brightness)以上的被摄体区域被设定在饱和亮度(luminance)水平，这是称为“过曝的高亮处”(blown out highlights)或者“亮度限幅”(clipping)。

为了防止亮度限幅，执行处理来与被摄体的亮度等相应地控制光电转换元件的电荷蓄积时段以调整曝光时间长度并从而使灵敏度最优化。例如，通过使用高快门速度来缩短明亮被摄体的曝光时间长度，从而减少光电转换元件的电荷蓄积时段并且在所蓄积的电荷量达到饱和水平之前输出电信号。通过执行这样的处理，可以输出为被摄体正确地再现色调的图像。

然而，如果在拍摄存在明亮区域和黑暗区域两者的被摄体时使用高快门速度，曝光时间长度对于黑暗区域而言将是不足够的，这将导致S/N比率的恶化以及图像质量的降低。为了正确地再现包括明亮区域和黑暗区域两者的被摄体的所拍摄图像中的明亮区域和黑暗区域的亮度水平，必需针对图像传感器上的入射光较少的像素使用长曝光时间以实现高S/N比率，并针对具有大入射光亮的像素执行避免饱和的处理。

实现这样的处理的一种已知方法是以不同的曝光时间长度来连续摄取多个图像并在随后组合这些图像。即，长时间曝光图像和短时间曝光图像被单独并连续地摄取，并且针对黑暗图像区域使用长时间曝光图像而针对明亮图像区域使用短时间曝光图像的、对于长时间曝光图像将发生亮度限幅的组合处理被执行来产生单个图像。以这种方式，通过组合具有不同曝光时间的多个图像，可以产生具有高动态范围而不具有亮度限幅的图像。

上述具有高动态范围的拍摄类型称为“HDR”(高动态范围)或“WDR”(宽动态范围)拍摄。

现在将描述用于实现HDR拍摄的数个现有技术。

例如，如日本早期公开专利公布No.H02-174470、No.H07-95481和No.H11-75118以及Orly Yadid-Pecht和Eric R.Fossum的“Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling”，IEEE Transactions On Electron Devices，Vol.44-10，pp.1721-1723，1997所述，一种生成HDR图像的方法是摄取具有不同灵敏度的多个图像，然后组合这些图像。现在将参考图1和图2描述使用这种方法的图像摄取装置的配置和处理示例。

经由图1所示的图像摄取装置的镜头101输入到图像传感器(图像摄取元件)102的入射光经历光电转换而输出传感器图像103。该传感器图像103被存储在真存储器104中。在图像摄取期间，图像摄取装置连续地摄取两个图像，即，一个通过长时间曝光产生的高灵敏度图像105和一个通过短时间曝光产生的低灵敏度图像106，将这两个图像存储在帧存储器104中，并将这两个图像输入到位于下游的HDR处理单元107。

HDR处理单元107对通过长时间曝光产生的高灵敏度图像105和通过短时间曝光产生的低灵敏度图像106进行组合以生成单个HDR图像108。之后，相机信号处理单元109使得HDR图像108经历典型相机中所执行的信号处理(例如，白平衡调整、伽马校正和去马赛克处理)以生成输出图像110。

现在将参考图2描述这样的处理的处理序列。在图2中，在从左到右行进的时间轴上示出了下面列出的各种图像的生成定时。

(a)传感器图像103的输出定时

(b)低灵敏度图像106的输出定时

(c)高灵敏度图像105的输出定时

(d)HDR图像108的输出定时

在时间t1，低灵敏度图像#1被摄取并被从图像传感器102输出。在时间t2，高灵敏度图像#2被摄取并被从图像传感器102输出。之后，在t3、t4、...，低灵敏度图像和高灵敏度图像被交替摄取。