[发明专利]学习装置和方法、图像处理装置和方法、程序和记录介质

说明书

技术领域

本发明涉及学习装置和方法、图像处理装置和方法、程序、以及记录介质，尤其涉及能够高速进行高精度分辨率插值的学习装置和方法、图像处理装置和方法、程序、以及记录介质。

背景技术

过去，高质量图像处理已经投入实际使用。例如，当输入信号的分辨率不满足屏幕的分辨率，已知用作用于补偿分辨率的分辨率插值技术的超分辨率技术。如果使用超分辨率技术，当使用全高清（full-HD）宽屏电视观看具有标准分辨率的视频软件时，可以对不足的像素进行插入（interpose）并且能够享受到更真实的视频。

现有技术的超分辨率技术通过反复的运算根据低分辨率图像来估计高分辨率图像的像素，并通常执行以下的处理。

首先，预先估计相机模型（劣化模型）和相机运动（对准）。另外，通过反复运算逐渐校正高分辨率图像，从而使得通过估计模型根据高分辨率图像获得的估计的低分辨率图像与实际观测的低分辨率图像的误差（差分）减小，以使所述高分辨率图像变得与理想图像近似。

例如，在相机模型（劣化模型）中，考虑模糊（光模糊、移动模糊和PSF）、像素数目变换（下变换（down conversion）和逐行-隔行变换）、以及噪声。在对准中，使用具有子像素精度的对相机运动或物体运动的估计。当确切知道相机模型和对准时，能够恢复没有混叠（aliasing）的高分辨率图像。

另外，提出了这样的技术（例如，参考日本专利申请公开No2008-140012），其中将通过超分辨率处理器计算的反馈值加上存储在缓冲器中的高分辨率图像，将通过第一次加法处理获得的高分辨率图像加上通过以下的超分辨率处理器获得的反馈值，并且通过利用Gauss-Seidel法的超分辨率处理来生成高分辨率图像。

发明内容

然而，在现有技术中，未能完全指定相机模型或对准，并且未能利用均一的模型来描述屏幕的内部。如果在相机模型或对准中产生估计误差，并且未能进行适当的高分辨率图像校正，则会产生不良影响，诸如边缘或细节部分的过分加强、过调节（overshoot）、以及对噪声的加强，并且这导致图像质量的劣化。

考虑了用于根据图像的预先（advance）信息而防止图像质量的劣化或加强噪声的技术以防止不良影响（称为重构建型（reconstruction-type）超分辨率MAP法）。然而，该技术不足以防止不良影响，因为性能很大程度上依赖于图像的预先信息，并且难以对混叠性能、分辨率感、抑制过调节、以及抑制噪声全部满足。

在现有技术中，因为由反复运算造成的处理负荷较大，所以难以实现高速处理。

考虑上述情况而完成本发明，并且本发明使得能够以高速进行高精度的分辨率插值。

根据本发明的实施例，提供了一种图像处理装置，其包括：基于模型的处理单元，该基于模型的处理单元执行基于模型的处理，该基于模型的处理对于前一帧输出的高分辨率图像转换分辨率，并且基于相机模型和具有对准的预定模型来转换图像；以及预测运算单元，该预测运算单元基于预先存储的参数、作为输入的低分辨率图像的观测的低分辨率图像、以及通过执行所述基于模型的处理而获得的图像，对将要输出的高分辨率图像的像素值进行预测运算。

预测运算单元可以读取通过预先学习生成的存储在学习数据库中的所述参数，并进行所述预测运算。

基于模型的处理单元可以包括：运动补偿单元，该运动补偿单元对前一帧输出的高分辨率图像的运动进行补偿；下采样器，该下采样器根据所述相机模型限制前一帧输出的运动补偿后的高分辨率图像的带域、间隔剔除像素，而生成估计的低分辨率图像；差分计算单元，该差分计算单元计算作为输入的低分辨率图像的观测的低分辨率图像与估计的低分辨率图像之间的差分，并生成差分图像数据；以及上采样器，该上采样器对差分图像数据的像素进行插值，从而生成高分辨率图像。

基于模型的处理单元可以包括：模糊添加单元，该模糊添加单元对前一帧输出的高分辨率图像添加模糊；以及模糊去除单元，该模糊去除单元去除由所述模糊添加单元所添加的模糊。

还可以包括类型分类单元，该类型分类单元基于在基于模型的处理过程中计算的特征量对每种类型的关注像素进行分类。预测运算单元还可以进行使用预先存储的系数作为与分类的类型相对应的参数的预定运算，对将要输出的高分辨率图像的像素值进行预测运算。