[发明专利]图像增强装置、图像增强方法

说明书

本申请主张日本专利申请2012-177476号(2012年8月9日提交)的优先权，在此组入该申请的全部公开内容以便用于参照。

技术领域

本发明涉及用于锐化图像来改善画质的图像增强装置以及图像增强方法，例如涉及适用于电视(TV)接收机中实时显示的动态图像的锐化的图像增强装置以及图像增强方法。

背景技术

以往，广泛地公知有用于锐化图像来改善画质的图像增强处理。例如，在现有的电视接收机中，进行使与显示的图像的轮廓部相当的影像信号的上升、下降急剧的轮廓补偿。在该轮廓补偿中，提取输入图像信号(亮度信号)的高频成分，并将该高频成分放大而与输入图像信号相加，由此来提高视觉上的画质。图10是表示由现有的图像增强处理带来的图像的信号电平的波形变化的图。图10(A)是表示输入图像信号的水平方向的信号电平的波形的图，特别是表示水平方向上的与信号电平变化的边缘相当的部分的波形的图。图10(B)是从输入图像信号提取的高频成分，通过将该高频成分放大而与输入图像信号相加，从而能够得到图10(C)所示的边缘的上升变化急剧的输出图像信号。

另外，近年，尤其是也提出了将输入图像升频转换为更高分辨率的输出图像，并对该升频转换后的图像进行增强处理的被称为超分辨率的技术(例如，参照非专利文献1)。

非专利文献1：S.Farsiu，D.Robinson，M.Elad,and P.Milanfar，”Fast and Robust Multi-frame Super-resolution”，IEEE Transactions on Image Processing，vol.13，no.10，pp.1327-1344，October 2004.

现有的图像增强处理是基于线性的数字信号处理的图像增强处理，因此，无法生成比奈奎斯特频率高的频率成分、即无法生成比成为对象的图像的采样频率的1/2高的频率成分。因此，无法为了改善画质而生成、利用超过奈奎斯特频率的频率成分来锐化图像。

例如，在全高清(HDTV：High Definition Television，1080×1920像素)的电视接收机中对分辨率不满足HDTV的图像信号进行放大显的情况下，图像被模糊地显示。另外，在将具有HDTV的分辨率的图像信号放大为更高清晰度的分辨率(例如4000×2000像素左右的4K分辨率)的情况下，图像也同样被模糊地显示。像这样图像模糊的原因是因为，在放大处理后的图像信号中，仅包含到放大前的原始图像的奈奎斯特频率为止的频率成分，不包含放大后的图像的奈奎斯特频率附近的频率成分。

以下，根据图11对图像的放大、增强处理所带来的频率成分的变化进行说明。图11(A)表示采样频率为fs的数字图像信号的频谱，图11(B)是对该数字图像信号进行升频转换而将像素数在水平方向上放大了2倍的情况下的频谱。放大处理后的采样频率Fbs为原来的采样频率fs的2倍(Fsb＝2·fs)。这里，如图11(B)所示，在升频转换后的数字图像信号中，在与原来的采样频率fs对应的奈奎斯特频率fs/2、和与新的采样频率Fbs对应的新的奈奎斯特频率Fbs/2＝fs之间，不存在频率成分。

图11(C)表示对升频转换后的数字图像信号，进行使用现有的线性数字信号处理的图像增强处理的情况下的频谱。如图所示，通过使用线性数字信号处理的图像增强处理，使原来的奈奎斯特频率fs/2附近的频率成分增大。但是，在使用现有的线性数字信号处理的图像增强处理中，不生成超过原来的奈奎斯特频率fs/2的频率成分。因此，在使用现有的线性数字信号处理的图像增强处理中，不会如图11(D)所例示那样，超过原来的奈奎斯特频率fs/2，而生成新的奈奎斯特频率Fbs/2附近的频率成分。即，针对升频转换后的数字图像信号，无法为了改善画质而生成、利用超过奈奎斯特频率的频率成分来锐化图像。

另外，非专利文献1等所记载的现有的超分辨率技术对采样频率相同的多个帧反复实施运算处理，从各帧选择分辨率较高的像素并对其进行合成，从而进行图像增强处理。因此，对于图像而言有时无法正确地恢复，从而在动态图像中存在产生失真图像突然出现那样的闪烁的可能性，另外，存在使用多个帧的运算的处理量非常繁重这一问题。

发明内容

因此，本发明的目的在于，提供一种能够以不对多个帧反复进行运算的方式，利用超过奈奎斯特频率的频率成分来锐化图像的图像增强装置以及图像增强方法。