[发明专利]图像处理器、图像处理方法和程序

说明书

技术领域

本发明涉及图像处理器、图像处理方法和程序。更具体而言，本发明涉及在把输入图像转换成具有更高分辨率的图像时适合使用的图像处理器、图像处理方法和程序。

背景技术

在现有技术中，作为从输入图像获得具有更高分辨率的图像的方法，已知一种被称为超分辨率(super-resolution)的方法(例如，参见日本未实审专利申请公布No.2008-140012)。

例如，根据一种被称为超分辨率反向投射的技术，输入到图像处理器11的诸如运动图像之类的连续帧图像被转换成具有更高分辨率的图像并且被输出，如图1所示。在以下描述中，输入到图像处理器11中的具有较低分辨率的图像将被称为LR(低分辨率)图像，而从图像处理器11输出的具有更高分辨率的图像将被称为SR(超分辨率)图像。

输入的LR图像被升采样器21升采样(up-sample)为与SR图像具有相同分辨率的图像，并且经升采样的图像被提供给运动向量检测器22、遮罩(mask)生成器23和混合器24。图像处理器11包括缓冲器25，其存储着从紧挨当前时刻正在处理的当前帧之前的前一帧的LR图像获得的SR图像。提供到缓冲器25的SR图像仅被存储一个帧时段，并且被提供给运动向量检测器22和运动补偿器26。

运动向量检测器22从提供自升采样器21的LR图像和提供自缓冲器25的SR图像中检测运动向量。运动补偿器26利用从运动向量检测器22提供来的运动向量和从缓冲器25提供来的SR图像执行运动补偿。具体而言，运动补偿器26利用紧挨正在处理的当前帧之前的前一帧的SR图像来预测从当前帧的LR图像获得的SR图像，并且把这样获得的图像作为预测图像提供给遮罩生成器23和混合器24。

遮罩生成器23利用从升采样器21提供来的LR图像和从运动补偿器26提供来的预测图像来生成运动遮罩。运动遮罩是用于指定LR图像的显示运动对象的区域的信息，并且是通过计算LR图像与预测图像之间的差异来生成的。

混合器24利用从遮罩生成器23提供来的运动遮罩来组合从运动补偿器26提供来的预测图像和从升采样器21提供来的LR图像，并且把这样获得的组合图像提供给降采样器27和加法器28。具体而言，LR图像和预测图像经历加权因子由运动遮罩确定的加权加法，从而获得组合图像。当生成组合图像时，加权因子是这样确定的：使LR图像的贡献比率在发生运动的区域中变得较大，从而抑制由于在具有运动的区域中发生的预测误差而导致的SR图像的图像质量恶化。

这样获得的组合图像被降采样器27进行降采样(down-sample)，并且这样获得的缩减图像(reduced image)被提供到减法器29。缩减图像是与LR图像具有相同分辨率的图像。

减法器29通过计算被提供到图像处理器11的LR图像与缩减图像之间的差异来生成差分图像。升采样器30把差分图像升采样为与SR图像具有相同分辨率的图像，从而获得扩增图像(enlarged image)。然后，加法器28把扩增图像与组合图像相加，把这样获得的图像作为当前帧的SR图像输出，并且把该SR图像提供给缓冲器25以存储于其中。

在图像处理器11中，如图2所示，通过预测当前帧的SR图像而获得的组合图像P11被降采样以获得缩减图像P12，并且缩减图像P12与LR图像P13之间的差异被计算以获得差分图像P14。差分图像P14是指示出用作通过预测获得的当前帧的LR图像的缩减图像P12相对于当前帧的LR图像P13的误差的图像。也就是说，差分图像P14可被认为是用作预测的SR图像的组合图像P11相对于在没有误差的情况下本应获得的当前帧的正确SR图像的误差。

因此，通过对缩减图像P14进行升采样并且把这样获得的信号与组合图像P11相加，获得了与本应获得的正确SR图像更相似的图像。即，所获得的SR图像将成为其中LR图像被更忠实地扩增而没有任何图像质量恶化的图像。

如上所述，根据反向投射，指示计算出的误差的扩增图像被与通过预测获得的组合图像相加，从而获得SR图像。

发明内容

然而，当利用反向投射从组合图像生成缩减图像时，组合图像的预定相位(位置)处的像素被采样，并且由采样的像素构成的图像被获得作为缩减图像。

根据采样定理，奈奎斯特(Nyquist)频率的信号就其幅度和相位而言不被正确保留。因此，取决于所采样的组合图像的像素的相位，可能存在这样的情况，即在生成缩减图像时没有正确保留组合图像的波形。