[发明专利]图像处理装置、图像处理方法和程序

说明书

技术领域

本发明涉及一种图像处理装置、图像处理方法和程序，更具体地，涉及一种适合在校正出现模糊或者散焦的图像时使用的图像处理装置、图像处理方法和程序。

背景技术

在相关技术中，存在校正在拍摄的图像中出现的手抖或者失焦(下文中简称为散焦)的校正技术。

例如，L.B.Lucy和William Hardley Richardson提出了Richardson-Lucy方法。然而，在这种方法中，当使用落在点扩展函数(PSF)的频率轴上的零点的频谱解决逆问题时，可能在零点处发现噪声放大、振铃产生等。另外，如果没有准确地获得PSF，则在零点处噪声放大、振铃产生等可能更加增大。

如果通过引入增益图来准确地获得PSF，则存在能够抑制振铃的余差去卷积技术(例如，参见Lu Yuan，Jian Sun，Long Quan，Heung-YeungShum，Image deblurring with blurred/noisy image pairs，ACMTransactions on Graphics(TOG)，v.26n.3，July 2007)。

然而，在相关技术的余差去卷积技术中，如果在PSF中存在误差，则不能很好地恢复图像的结构分量和残差(余差部分)，可能产生更多振铃。

为此，考虑应用基于Richardson-Lucy方法将用于分离图像的结构分量和纹理分量的结构/纹理分离滤波器组合为静止图像手抖校正算法的技术(下文中称为结构去卷积技术)。

在结构去卷积技术中，例如，通过作为一种类型的结构/纹理分离滤波器的全变差滤波器来分离出现模糊的图像(下文中称为模糊图像)的结构分量和纹理分量，仅针对结构分量校正模糊，由此抑制噪声或者振铃产生。

这里，结构分量表示构成图像的构架的分量，例如图像几乎不改变的平坦部分、图像缓慢改变的倾斜部分和主体的轮廓或者边缘。另外，纹理分量表示构成图像的细节的部分，例如主体的详细形状。因此，大多数结构分量被包含在空间频率的低频分量中，而大多数纹理分量被包含在空间频率的高频分量中。

发明内容

然而，在上述结构去卷积技术中，优选减小计算量以进一步提高处理速度。

希望以更高的速度校正图像的模糊和散焦，同时抑制图像质量的劣化。

根据本发明的一个实施例，提供了一种图像处理装置，包括：纹理提取单元，被配置为提取G校正图像的纹理分量，在G校正图像中，对包括输入图像的G分量的G图像的结构分量的模糊或者散焦进行了校正；掩模生成单元，被配置为生成掩模图像，在掩模图像中，对于输入图像的G分量的变化和R分量的变化之间的相关性或者输入图像的G分量的变化和B分量的变化之间的相关性中的至少一个相关性弱的区域，减小G校正图像的纹理分量到R校正图像和B校正图像的合成量，其中在对通过缩小包括输入图像的R分量的R图像而获得的图像的结构分量的模糊或者散焦进行校正之后R校正图像还原到缩小之前的大小，在对通过缩小包括输入图像的B分量的B图像而获得的图像的结构分量的模糊或者散焦进行校正之后B校正图像还原到缩小之前的大小；以及合成单元，被配置为使用掩模图像，将G校正图像的纹理分量合成到R校正图像和B校正图像。

掩模生成单元可以生成第一掩模图像，在第一掩模图像中，对于R图像的高频分量和G图像的高频分量之间的相关性弱的区域，减小G校正图像的纹理分量到R校正图像的合成量；掩模生成单元生成第二掩模图像，在第二掩模图像中，对于B图像的高频分量和G图像的高频分量之间的相关性弱的区域，减小G校正图像的纹理分量到B校正图像的合成量，合成单元使用第一掩模图像，将G校正图像的纹理分量合成到R校正图像，并且使用第二掩模图像，将G校正图像的纹理分量合成到B校正图像。

掩模生成单元可以包括：高频提取单元，被配置为提取R图像、G图像和B图像的高频分量；检测单元，被配置为检测R图像的高频分量和G图像的高频分量之间的差以及B图像的高频分量和G图像的高频分量之间的差；以及生成单元，被配置为生成第一掩模图像，在第一掩模图像中，对于R图像的高频分量和G图像的高频分量之间的差为大的区域，减小G校正图像的纹理分量到R校正图像的合成量；并且生成第二掩模图像，在第二掩模图像中，对于B图像的高频分量和G图像的高频分量之间的差为大的区域，减小G校正图像的纹理分量到B校正图像的合成量。