[发明专利]图像处理设备和图像处理方法

说明书

技术领域

本发明涉及通过合成图像来扩大动态范围的技术。

背景技术

近年来，能够通过合成多个图像记录合成图像的诸如数字照相机等的大量摄像设备已经被开发为产品。这些摄像设备中的一些摄像设备具有用于通过将以与被摄体的亮度合适的曝光相比较高的曝光所拍摄的图像和以较低的曝光所拍摄的图像进行合成、来改善过曝光或暗部噪声的功能。将该功能称为高动态范围(HDR)功能。一般地，图像传感器的动态范围比自然界的动态范围窄。例如，当拍摄逆光场景时，可能发生过曝光。

当以较低曝光拍摄图像时，由于整个图像是暗的，因此，尽管可以抑制过曝光，但暗部噪声感劣化。相反，当以较高曝光拍摄图像时，由于整个图像是明亮的，因此，尽管发生过曝光，但暗部噪声感改善。利用高动态范围功能，可以通过针对明亮区域(过曝光等)将权重给予曝光不足图像并且相反地、针对暗的区域将权重给予过曝光图像，来合成具有低曝光和高曝光的多个图像，以改善过曝光和暗部噪声感。

在拍摄多个图像时被摄体运动的情况下，被摄体可能由于合成处理而变成二重像。结果，讨论了用于通过在检测到被摄体运动的区域中禁止合成处理来抑制二重像的技术。一般地，检测到被摄体运动的区域输出低曝光图像。这是因为，针对以高曝光所拍摄的图像，运动被摄体可能呈现过曝光。

日本特开2002-190983论述了以下技术：针对检测到被摄体运动的区域，输出曝光不足的图像并削弱轮廓强调的强度，以抑制被摄体变成二重像并且抑制在曝光不足的图像中的噪声感的放大。

如上所述，当合成多个图像时，可以通过针对检测到运动的区域禁止合成处理并原样输出曝光不足的图像来抑制二重像。然而，存在以下问题：针对检测到运动的区域，当输出曝光不足的图像时，在检测到运动的区域中的噪声感劣化。

尽管可以如日本特开2002-190983那样通过输出曝光不足的图像并削弱轮廓强调的强度来防止检测到被摄体运动的区域中由于噪声放大而引起的噪声感的进一步劣化，但难以改善曝光不足的图像中原有的噪声感。

发明内容

本发明的目标是在合成多个图像时，通过减少在检测到运动的区域中的噪声来提高图像质量。

根据本发明的方面，一种图像处理设备，能够通过合成多个图像来生成合成图像，所述图像处理设备包括：获取单元，用于获取多个图像，该多个图像包括具有第一曝光的第一图像、具有比所述第一曝光高的第二曝光的第二图像、以及至少一个具有比所述第一图像高的信噪比的低噪声图像；运动区域检测单元，用于检测所述第一图像和所述第二图像之间的差大于预定值的运动区域；替换区域设置单元，用于从所述运动区域中设置替换区域；以及合成单元，用于合成所述多个图像，其中，所述合成单元通过合成所述第一图像和所述第二图像来生成合成图像，并且利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。

根据本发明的其它方面，一种用于通过合成多个图像来生成合成图像的图像处理方法，所述图像处理方法包括：第一摄像步骤，用于拍摄具有第一曝光的第一图像；第二摄像步骤，用于拍摄具有比所述第一曝光高的第二曝光的第二图像；第三摄像步骤，用于拍摄至少一个具有比所述第一图像高的信噪比的低噪声图像；检测所述第一图像和所述第二图像之间的差大于预定值的运动区域；从所述运动区域中设置替换区域；合成所述第一图像和所述第二图像以生成合成图像；以及利用所述低噪声图像的对应区域的图像来替换所述合成图像中的替换区域。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起用于说明本发明的原理。

图1示出根据第一典型实施例的结构示例。

图2示出运动区域信息生成单元的结构示例。

图3A、3B和3C示出运动区域信息。

图4示出替换区域信息生成单元的结构示例。

图5示出图像合成单元的结构示例。

图6示出用于生成替换区域信息的操作流程。

图7A~7F示出替换区域信息。

图8示出用于利用低噪声图像进行替换的操作流程。

图9A~9E示出替换处理。

具体实施方式

以下将参考附图详细说明本发明的各种典型实施例、特征和方面。

图1是示出在摄像设备中应用根据本典型实施例的图像处理设备的情况下的结构示例的框图。现在将参考图1说明根据本典型实施例的结构示例。