[发明专利]一种基于最近特征线流形学习的人脸图像超分辨率方法

说明书

技术领域

本发明涉及图像超分辨率领域，具体涉及一种基于最近特征线流形学习的人脸图像超分辨率方法。

背景技术

超分辨率是一种由低分辨率（Low-Resolution，LR）图像产生高分辨率（High-Resolution，HR）图像的技术，其在智能视频监控、公安刑事侦查、信息安全等领域具有广泛的应用背景。

根据输入的图像的数目，超分辨率方法可以分成基于多帧低分辨率图像进行重建的方法和基于单帧低分辨率图像进行学习的方法这两大类，其中基于单帧学习的方法能获得更高的放大倍数和更好的效果，因而更受关注。Freeman（文献1：W.Freeman, E.Pasztor, and O.Carmichael. Learning low-level vision [J]. International Journal of Computer Vision, 2000, 40(1): 25–47.）提出一种基于Markov网络的图像超分辨率方法，这也是最早提出的基于学习的超分辨率方法。Baker（文献2：S.Baker and T.Kanade. Limits on super-resolution and how to break them [J]. IEEE Trans. PAMI, 2002, 24(9): 1167-1183.）专门针对人脸图像，提出了一种人脸幻构的方法。随后，Liu（文献3：C.Liu, H.Shum, and W.Freeman. Face Hallucination: Theory and Practice [J]. International Journal of Computer Vision, 2007, 75(1): 115-134.）提出人脸重构的两步法，分别合成人脸的全局和局部信息。至此，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。近年来，机器学习理论表明，人脸图像嵌入在一个具有局部线性性的低维平滑流行空间(文献4：S.Roweis and L.Saul. Nonlinear dimensionality reduction by locally linear embedding [J]. Science, 2000, 290 (5500): 2323–2326)。根据这一理论，Chang（文献5：H.Chang, D.Yeung, and Y.Xiong. Super-resolution through neighbor embedding [A]. In Proc. IEEE CVPR’04 [C]. Washington, 2004. 275–282.）提出一种邻域嵌入的图像超分辨率重构方法，首次将流形学习思想引入到图像超分辨率重构中。Wang（文献6：X.Wang and X.Tang. Hallucinating face by eigentransformation [J]. IEEE Trans. SMC (Part C), 2005, 35(3):425–434.）提出一种特征变换法, 利用主成分分析将输入的低分辨率人脸图像投影到低分辨率训练样本的特征子空间中，再把投影系数直接映射到高分辨率图像上得到高分辨率图像。2010年Huang（文献7：H.Huang, H.He, X.Fan, and J.Zhang. Super-resolution of human face image using canonical correlation analysis [J]. Pattern Recognition, 2010, 43(7):2532–2543.）提出利用典型相关分析提取高低分辨率人脸图像的相关子空间，将典型相关分析同时运用于全局脸重构的残差脸的补偿中，最终获得了很好的重构效果。

上述流形学习的方法都是基于高低分辨率人脸图像样本所构成的流形空间具有相似局部几何结构这一假设。然而，在欠采样条件下（即小样本问题，目前，最大样本库的样本数也不过5000），样本数据只能构成高维人脸流形空间的一个稀疏空间，即使最相邻的点也难以称其为局部。因此，对欠采样的样本数据，由局部形成全局的流形学习思想从本质上并不适合。基于流形学习的人脸图像超分辨率方法要想获得好的学习效果，必须通过扩大人脸图像样本规模来解决流形空间采样不够稠密的问题。然而，人脸库的建立是一个复杂又耗时的过程，即使能获得大量样本，方法在进行求解计算时也需要巨大的存储空间，并带来很高的运算复杂度。因此，通过简单地增加样本数量来改进传统流形学习方法在实际中并不可行。

发明内容