[发明专利]一种基于非负矩阵分解的人脸超分辨率处理方法

说明书

技术领域

本发明涉及图像分辨率处理技术领域，尤其涉及一种基于非负矩阵分解的人脸超分辨率 处理方法。

背景技术

在大部分的监控场景中，摄像头和场景中的感兴趣物体有较远的距离，这经常导致这些 物体具有很低的分辨率，监控视频中的人脸是最常见的感兴趣物体之一。由于低分辨率人脸 图像丢失了很多人脸的特征细节，人脸经常难以辨识，人脸图像的分辨率变成了制约人脸识 别和主观辨认等应用性能的重要因素，有效增强人脸图像分辨率成为亟待解决的问题。

近年来，许多超分辨率技术已经被提出，大部分超分辨率算法试着从多帧的低分辨率图 像序列产生一个超分辨图像，但是由于监控视频的帧间存在复杂的局部运动，不一定满足简 单的亚像素全局运动关系(如平移、旋转和缩放等)，这导致帧间信息的互补与融合变得异常 困难，因此，我们更加关注利用图像先验知识的正则化来提高监控图像的分辨率。

马尔可夫随机场模型是一种超分辨率中常用的图像模型，它假设图像是由不连续的一个 个光滑区域组成，且每个像素只与周边邻域内的像素相关，2000年，Freeman等从不同的角度 考虑了相似的问题，他们不建立显式的图像正则化模型，而是在MAP框架中结合了贝叶斯网 络的方法来推测图像分块的高频信息，他们提出的算法定义了一个局部概率，该概率考虑了 低分辨率分块和样本数据库分块之间的相似性，并且考虑了高分辨率图像的相邻分块之间的 兼容性，最后利用贝叶斯信任传播机制求得最大后验概率的分块。这些方法非常适合于合成 普通图像的局部纹理，但是没有考虑人脸图像特殊的结构信息。

2002年，Baker和Kanade将基于样本学习的方法进一步运用到人脸超分辨率中，并称为 “幻觉脸”技术，“幻觉脸”技术采用图像金字塔模型，选择人脸图像的水平和垂直方向的导数 和拉普拉斯金字塔作为特征空间，通过离线学习得到映射，该映射反映了原始图像在不同分 辨率下的灰度对应关系，以此作为人脸图像的先验信息。虽然得到的人脸图像在有些部位仍 存在较大的噪声，但这种方法获得了比传统重建方法和插值更好的效果，开创了“幻觉脸”技 术的新时代。2005年，Wang和Tang使用特征值变换来改造幻觉脸算法，利用PCA方法将输 入的低分辨率图像拟合成为样本库中低分辨率图像的线性表达，并将表达参数映射到高分辨 率图像空间，这种方法考虑到了图像的全局特征但是没有关注人脸图像的局部特征。

在人脸超分辨率中，PCA是最常用的人脸图像分解和表达的方法，PCA是一种降维方法， 考虑了维数的降低和冗余的减少，但它的特征是整体的，没有考虑特征基图像的表达能力， 并不是很好面向重建合成的分解方法。NMF(Nonnegative Matrix Fac-torization，非负矩阵分 解)是一种线性，非负近似的数据表达方法，它的一个重要限制是基图像和系数的非负性， 即只允许非负部分的加性结合，而PCA方法允许主成分的负数结合，相比于NMF，PCA的 分解结果是不直观的，并且很难解释因为PCA允许基图像的减法合成。PCA产生一个基于整 体的表达而NMF由于非负的限制得到了基于部分的表达。

发明内容

本发明的目的是提供一种基于非负矩阵分解的人脸超分辨率处理方法，以解决传统基于 PCA方法过程中没有考虑局部结构特性，特征表达能力不强，难以语义解释等问题。

为达到上述目的，本发明采用如下的技术方案：

对样本库高分辨率人脸图像进行人脸对齐；

读入对齐后的样本图像库；

利用非负矩阵分解算法进行分解操作获得基图像W；

将输入的低分辨率人脸图像进行对齐；

获得目标高分辨率人脸图像的非负矩阵分解表达系数e；

结合基图像W和表达系数e得到中间高分辨率图像Z₁＝We；

对样本库人脸图像重要区域进行分割；

对分割得到的局部区域分别独立进行非负矩阵分解LRNMF(Local Region Non-negative Matrix Factorization，局部区域非负矩阵分解)；

对对齐后的输入图像的局部区域分别进行合成；

将合成的局部区域与图像Z₁进行加权结合获得超分辨率图像Z₂。

所述利用非负矩阵分解算法进行分解操作获得基图像W的步骤包括以下子步骤：