[发明专利]光照鲁棒性的人脸图像超分辨率方法

说明书

技术领域

本发明涉及图像处理方法，具体涉及一种光照鲁棒性的人脸图像超分辨率方法。

背景技术

在视频监控中检测到的人脸图像通常是低分辨率图像且易受光照变化的影响，而光照变化是影响人脸图像性能分析的一个重要因素，目前现有的人脸超分辨率算法大多数仅适用于光照分布均匀或者相同光照输出的情况，当光照发生变化时，人脸超分辨率方法的效果会减弱甚至无法实现，因此设计光照鲁棒性的人脸超分辨率方法是十分必要的。

经查阅文献，尚未发现有关光照鲁棒性的人脸超分辨率方法被提出。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种光照鲁棒性的人脸图像超分辨率方法，能够在光照发生变化时，将某光照低分辨率人脸图像转换成多种不同光照的高分辨率人脸图像，继而解决光照对低分辨率人脸重建结果的影响。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

步骤一、将某光照f输入的低分辨率人脸图像I_f用相同光照的训练集样本线性组合；

步骤二、求解步骤一中线性组合的重构系数W_f，在求解过程中对局部协方差矩阵X进行对角加载；

步骤三、将不同光照c的低分辨率人脸图像I_c用对应光照的训练集样本线性组合，用步骤二中的重构系数W_f替换线性组合的系数，产生多种不同光照的低分辨率人脸图像I_c；

步骤四、利用基于整体人脸图像的重建方法，将步骤三产生的多种不同光照的低分辨率人脸图像I_c加权合成不同光照的高分辨率图像H_c。

所述的步骤一中输入的某光照f低分辨率人脸图像I_f与训练集样本均表示为列向量形式。

所述的步骤二求解线性组合重构系数W_f的方法为：

其中，分别表示某光照f的第m个、第k个低分辨率训练集人脸图像样本，W_f表示某光照f的重构系数，N是训练集样本数量的最大值，X是局部协方差矩阵，X^-1表示X的逆矩阵，表示逆矩阵X^-1的第m行、第k列的元素，表示逆矩阵X^-1的第a行、第b列的元素，X_mk表示矩阵X的第m行、第k列的元素；a，b，k，m均是正整数；T表示转置。

所述的步骤二局部协方差矩阵X进行对角加载的方法为：

X＝X+λY

式中λ是一个常数，其值可根据实验设定，Y是一个N×N的单位对角矩阵。

所述的步骤三将不同光照c所对应的低分辨率训练集样本表示为列向量形式，根据人脸图像在某光照f与不同光照c的冗余线性组合之间存在的近似线性映射关系，低分辨率人脸图像I_c计算公式如下：

所述的步骤四利用基于整体人脸图像的重建方法加权合成不同光照的高分辨率图像H_c的具体方法为：

4.1)计算最优权值W_c：

式中，W_c表示每个重建权值的N维权值列向量；

N为训练集中不同光照c所对应的高低分辨率图像对的个数；

4.2)利用人脸图像结构的相似性，加权合成不同光照的高分辨率图像H_c为：

其中表示多种不同光照c所对应的高分辨率训练集样本。

与现有技术相比，本发明具有如下的有益效果：通过将不同光照的低分辨率人脸图像用对应光照的训练集样本线性组合，并用重构系数替换线性组合的系数，产生多种不同光照的低分辨率人脸图像，再利用基于整体人脸图像的重建方法，将多种不同光照的低分辨率人脸图像加权合成不同光照的高分辨率图像，当光照发生变化时，本发明能够将某光照低分辨率输入图像重建成多种不同光照的高分辨率人脸图像。经实验验证，重建效果较好。本发明克服了现有人脸超分算法仅适用于光照分布均匀情况的问题，应用前景广阔。

附图说明

图1本发明超分辨率方法的流程图；

图2转换效果对比实验结果图：

(a)为输入某光照的低分辨率人脸图像；

(b)-(f)为本发明低分辨率空间光照转换的结果图；

(g)-(k)为本发明方法处理后的结果图；