[发明专利]一种位置块非线性映射的人脸图像超分辨率重建方法

说明书

技术领域

本发明属于图像处理技术，具体涉及一种位置块非线性映射的人脸图像超分辨率重建方法。

背景技术

图像超分辨率(Super Resolution，SR)是指从一幅或一系列低分辨率图像(Low Resolution，LR)中得到一幅高分辨率(High Resolution，HR)图像的过程。近年来，视频监控已经在银行、机场等重要场所得到了广泛的应用。但在许多情况下，监控设备得到的人脸图像分辨率太低，以致于无法直接进行识别，因此人脸图像超分辨率问题的研究具有现实的意义。

一般自然图像的超分辨率算法，可以给人脸图像超分辨率算法很多启示。但人脸图像是一类特殊的图像，有其特定的全局结构。因此将不考率全局结构信息的一般自然图像超分辨率算法推广到人脸图像超分辨率问题有一定的局限性，重建的效果还有进一步提高的空间。

Liu等首次提出了人脸超分辨率的两步法，即将人脸超分辨率问题分解为人脸全局信息与局部细节信息的重建两部分，将全局信息与局部细节相加得到最终的高分辨率人脸图像。两步法是一个很好的框架，众多人脸超分辨率的方法都基于此框架：对人脸全局信息的表示，主要思路是用人脸图像的特定约束来描述全局特征，实现上大多都通过建立高低分辨率图像全局特征之间的关系来重建全局信息；对于细节纹理特征的表示，主要思路是建立样本的图像块与训练集图像块之间的邻域关系，并采用各种局部模型来描述纹理特征。

两步法通过建立高低分辨率人脸全局特征关系和细节补偿相结合，重建恢复效果有一定的提高，但建立高低分辨率人脸全局特征之间的关系时常常在重建结果中引入伪影，降低了重建的性能，与此同时两步法引入了额外的计算量，重建效率上也有一定下降。基于此，Ma等提出了一种基于位置块重构的人脸超分辨率算法，用图像块的位置信息表征人脸的全局结构，用图像块的内容表征细节信息。然而Ma在恢复细节信息时采用的最小二乘法只考虑了高低分辨率位置块间的线性相关分量，而忽略了非线性相关分量，为了提高超分辨率重建的性能，需要寻找更好的方法来解决此处存在的问题。

发明内容

本发明的目的在于提供一种位置块非线性映射的人脸图像超分辨率重建方法，以解决现有技术中存在的上述问题。

为了达到上述目的，本发明采取的技术方案是：

1)首先，将高低分辨率人脸图像分割成高低分辨率位置块图像；

2)其次，利用径向基函数超分辨率重建对应位置块的高分辨率图像。在训练阶段，利用径向基函数由训练图像为每一个位置的高低分辨率位置块训练一个非线性映射，用于表示每一个位置的高低分辨率位置块之间的非线性关系，在测试阶段，利用每一个位置训练得到的非线性关系从测试低分辨率位置块估计出对应的高分辨率位置块；

3)最后，按照各个位置块的位置信息将估计得到的高分辨率位置块图像拼接成对应的高分辨率重建图像。

所述步骤1)包含以下步骤：

1)将低分辨率人脸图像采用双线性插值，使得插值后的低分辨率人脸图像分辨率大小与高分辨率图像分辨率大小一致。

2)采用p*p大小的窗口分别对高低分辨率图像进行分块，采用有重叠的分块方式，上下左右相邻位置块之间有重叠的部分，相邻块之间重叠像素为n。其中p为一个整数，取值范围为2～16，n为一个整数且0≤n≤p/2。将高低分辨率图像中相同平面位置的图像块称为对应的相同位置的高低分辨率位置块。

所述步骤2)利用径向基函数超分辨率重建对应位置块的高分辨率图像，其具体过程如下：

分别用和表示第q个位置的高低分辨率训练位置块，和分别表示第q个位置第一个训练样本的高低分辨率位置块图像，其中和均为位置块图像灰度值展开成的列向量，上标H和L分别表示高分辨率和低分辨率，第一个下标q表示按照前述的位置块分割方法分割出的第q个位置，第二个下标1～m表示第1～m个训练样本，用和分别表示位于位置q的双线性插值后的测试低分辨率位置块和待求的高分辨率位置块，则利用径向基函数求得计算式为：

其中T表示矩阵的转置运算，为采用的多维二次曲面径向基函数，具体的计算表达式为：

W_q为训练阶段得到的权值矩阵，计算表达式为：