[发明专利]融合全局特征与局部信息的人脸图像超分辨率处理方法

说明书

技术领域

本发明涉及一种人融合全局特征与局部信息的人脸图像超分辨率处理方法，具体涉及一种利用图像金字塔，对低分辨率人脸图像进行处理得到高分辨率人脸图像的方法。属于图像处理领域。

背景技术

人脸研究一直是模式识别、计算机视觉和计算机图形学领域中的经典问题之一。由于人脸是一种极为复杂的、多维的模式，也是一种典型的非刚性模式，具有非常复杂的生理学构造，再加上人们对人脸的熟悉和敏感，因而人脸方面的研究相对来说比较困难。任何人脸处理系统的第一步都是检测人脸在图像中的位置。然而，从一幅图像中检测人脸是一项极具挑战性的任务，因为其尺度、位置、方向和位姿都是变化的，面部表情、遮挡和光照条件也是变化的。有些视频流中的人脸太小，以至于无法进行人脸跟踪，可以先对视频流进行超分辨率放大，然后再跟踪。为了对视频中的人脸进行超分辨率放大，首先需要研究静态图片中人脸的超分辨率放大。如何对人脸图像进行超分辨率，成为人脸识别中亟待解决的问题。

经对现有技术文献的检索发现，目前在对于人脸图像超分辨率方法主要有：Freeman等人在《IEEE Computer Graphics and Applications(计算机图形与应用)》上的论文“Example-based super-resolution(基于样本的超分辨率)”提出的一种基于样本的方法，利用马尔可夫网络(Markov Network)学习训练库中低分辨率图像和对应的高分辨率图像之间的关系。Hertzmann等人在ACM SIGGRAPH计算机图形学国际会议的论文“Image analogies(图像类比)”提出了一种基于多尺度自回归(Multi-scale Auto-regression)的图像类推算法。这些方法更适合对一般的图像进行超分辨率处理，但他们没有考虑到人脸图像的特殊性。Baker和Kanade在IEEEInternational Conference on Automatic Face and Gesture Recognition(人脸和手势自动识别国际会议)的论文Hallucinating faces提出“人脸幻想”思想，他们选择人脸图像的高斯(Gaussian)金字塔的水平与垂直方向的导数以及拉普拉斯(Laplacian)金字塔，其结果比Freeman和Hertzmann的要好，但是超分辨率得到的人脸图像在有些部位存在较大的噪声。Liu等人在IEEE Computer Society Conference on ComputerVision and Pattern Recognition(计算机视觉与模式识别国际会议)的论文“Atwo-step approach to hallucinating faces：global parametric model and localnonparametric model(一种两部的人脸幻想方法：全局参数模型和局部非参数模型)”提出一种两步的人脸超分辨率算法，利用了全局参数模型与局部非参数模型相结合的思想，其结果比Baker的要平滑，但是由于使用主成分分析(Principal ComponentsAnalysis，PCA)计算全局模型，超分辨率的结果与原始高分辨率图像不相似。

发明内容

本发明的目的在于针对现有技术的不足，提供一种融合全局特征与局部信息的人脸图像超分辨率处理方法，能在光照变化、噪声等复杂环境下，融合全局特征与局部信息，准确地估计高分辨率人脸图像，为人脸识别提供一种可靠的依据。

为实现上述目的，本发明建立高分辨率人脸图像的金字塔库以及高分辨率残差人脸库，然后对一幅低分辨率输入图像进行重构，得到完整高分辨率图像，再计算输入图像的高分辨率残差人脸图像，最后将完整高分辨率图像与残差人脸图像进行叠加，得到最终高分辨率图像。

本发明的方法通过以下具体步骤实现：

1)对人脸图像数据库中每一幅高分辨率人脸图像I_H，根据以下公式计算其五层三阶可操纵金字塔SP(I_H)：