[发明专利]一种基于样本学习的人脸图像超分辨率重建方法

说明书

技术领域

本发明属于图像处理技术领域，涉及一种基于样本学习的人脸图像超分辨率重建方法，具体涉及一种利用样本学习，对低分辨率人脸图像进行超分辨率重建获得高分辨率人脸图像，以及针对人脸特征进行优化。

背景技术

人脸图像超分辨率重建技术的目标是对待超分辨率的人脸图像进行增强，虽然现有的图像插值算法可以比较平滑地放大图像，但是因为插值算法无法恢复图像缩小时所损失的信息，因此放大的图像比较模糊、使用价值不高。

人脸图像超分辨率重建技术主要可以适应于如下情况：

1、对现有IC卡中存储的照片进行放大，便于查看、打印等。在更换现有(存储。采集)设备的成本较高、重新采集可行性低等多种情况下，超分辨率重建技术尤其适用；

2、对从监控设备中获取的人脸图像进行超分辨率处理，以便于识别。由于硬件工艺、成本等限制，在监控领域可能无法采集到清晰的高分辨率图像，使用超分辨率重建技术可以降低对硬件设备的依赖和提高系统的可用性。

现有的有代表性的人脸超分辨率方法主要是Liu等人提出的两步超分辨率法。该方法将人脸超分辨率重建分解为全局重建和局部重建两部分，其中全局重建使用主成份分析(Principal Components Analysis，PCA)法重建人脸的全局特征；而后根据训练步骤中学习到的全局特征与局部细节的关系，从训练样本中选取合适的局部细节信息叠加到全局重建的人脸图像上，最终得到人脸超分辨率重建的结果。该方法的特点在于得到的图像平滑，有比较好的视觉效果；但其也有比较明显的缺点，例如全局重建的时损失损失了大量的信息，使得重建结果与输入图像之间相似度较低。另外其局部重建也未充分考虑人脸的结构，因此算法的效果和效率还有很大的提升空间。

发明内容

为了解决现有技术的问题，本发明的目的是使超分辨率重建后的图像与原图像有较高的相似度，且充分利用人脸的结构进行重建，提高人脸超分辨率重建的效果，为此，本发明是要提供一种基于样本学习的人脸图像超分辨率重建方法。

为达成所述目的，本发明提供一种基于样本学习的人脸图像超分辨率重建方法的技术方案，该方案的步骤如下所述：

步骤S1：进入训练部分，首先设有由大小相同的m幅高分辨率人脸样本图像组成的样本图像集{I^H}^m，其中I^H表示样本图像，样本图像集中的第i幅样本图像表示为1≤i≤m，使用人脸标定算法或手工对m幅样本图像中的人脸结构进行标定，得到每幅样本图像的人脸特征，并依据人脸特征对m幅样本图像进行对齐处理，使相同的人脸特征位于样本图像中大致相同的位置；

步骤S2：利用公式↑n对第i幅样本图像进行处理，得到第i幅样本图像在缩小n倍时所损失的残差图像其中↑为上采样运算，↓为下采样运算，n为上采样或下采样的倍数，为对第i幅样本图像进行n倍下采样后得到的低分辨率图像，对m幅样本图像进行处理，得到的残差图像和低分辨率图像可分别组成残差图像集{I^D}^m和低分辨率图像集{I^L}^m；

步骤S3：对低分辨率图像集{I^L}^m中所有的图像放大n倍，并对得到的图像进行高通滤波得到中频图像集{I^M}^m；

步骤S4：对中频图像集{I^M}^m和残差图像集{I^D}^m中的图像进行重叠分块，分别建立中频图像块数据库和残差图像块数据库，训练结束；

步骤S5：进入超分辨率重建处理部分，设输入图像为I，首先对输入图像I按人脸结构进行标定与对齐，标定和对齐与训练部分中的相同；

步骤S6：在图像放大倍数n取与训练部分中相同的值时，有I↑n图像与训练图像大小相同，对I↑n进行高通滤波，获得中频图像I^M；

步骤S8：对中频图像I^M进行重叠分块，得到中频图像块集{P^M}ⁿ，n为分块总数，表示中频图像块集中的第i个块，其中1≤i≤n；