[发明专利]一种基于HR-LLE权值约束的人脸图像超分辨率复原方法

摘要

本发明属于数字图像处理领域，特别涉及一种基于HR‐LLE权值约束的人脸图像超分辨率复原方法。首先求出大量HR人脸样本和残差HR人脸相对于其近邻样本的平均重建权值约束；在重建过程中，分别利用全局和局部平均重建权值约束对传统的基于LLE的人脸超分辨率重建权值求解方法进行权值约束。重建算法分为全局重建和局部细节补偿两个部分。这里全局重建的目的是复原标准人脸应具备的基本特征；局部细节补偿的目的是重建人脸图像应该具有区分其他人脸的个性特征。该方法在估计目标HR图像的基于LLE的重建权值时，加入了HR-LLE权值约束，使权值在l₂范数上更接近真实的HR图像重建权值。该方法可以取得较好的图像复原结果。

主权项

一种基于HR‑LLE权值约束的人脸图像超分辨率复原方法，其特征在于包括如下步骤：（一）全局HR‑LLE权值约束重建（1）全局平均重建权值约束首先，需要建立两个人脸图像样本库，即成对的HR人脸图像样本库和相应的LR人脸图像样本库；利用基于LLE的权值求解方法计算出每个LR人脸样本相对于其K₁最近邻样本的重建权值，如公式（1）所示；其中为其中一个LR人脸样本图像，是其K₁个最近邻样本且是其相对于K₁个最近邻样本的重建权值；K₁=800；利用基于LLE的权值求解方法计算出相应的HR人脸样本的重建权值，如公式（2）所示；其中是与相对应的HR人脸样本图像，是与对应的K₁个最近邻HR样本，是其相对于K₁个最近邻HR样本的重建权值；解最优化问题（1）和（2）得出LR样本和相应HR样本的重建权值，W_g=0.85；（2）全局重建输入一幅LR人脸图像x，大小为35×40个像素；利用欧氏距离从LR人脸样本库中找出x的K₁个最近邻人脸样本利用公式（3）得出x相对于的重建权值$W_G=[w_{G_1},w_{G_2},w_{G_3},...,w_{G_{K_1}}];$再利用公式（4）重建全局初步放大人脸图像y_G；$\left\{\begin{array}{c}\min \mathrm{\ϵ}={\left|\right|x-\underset{j=1}{\overset{K_1}{\mathrm{\Σ}}}{w}_{G_j}{\stackrel{\→}{l}}_{G_j}\left|\right|}_2+\mathrm{\α}|{\left|\right|W_G\left|\right|}_2-W_g|\\ {\mathrm{\Σ}}_{j=1}^{K_1}{w}_{G_j}=1;\\ w_{G_j}=0,\mathrm{if}({\stackrel{\→}{l}}_{G_j}\∉[{\stackrel{\→}{l}}_{G_1},{\stackrel{\→}{l}}_{G_2},{\stackrel{\→}{l}}_{G_3}{\stackrel{\→}{l}}_{G_4}......{\stackrel{\→}{l}}_{G_{K_1}}\left]\right)\end{array}\right.---\left(3\right)$$y_G={\mathrm{\Σ}}_{j=1}^{K_1}{w}_{G_j}{\stackrel{\→}{h}}_{G_j}---\left(4\right)$其中是在HR人脸样本库中相对应的HR人脸样本；在（3）中，利用全局平均重建权值l₂范数约束W_g对重建权值W_G进行约束，这样解最优化问题（3）后得出的重建权值就相对接近目标HR人脸图像的真实权值；ɑ=0.01；（二）局部HR‑LLE权值约束细节补偿（1）局部平均重建权值约束首先建立HR残差人脸样本和相应的LR残差人脸样本库；由样本中的LR图像利用全局HR‑LLE权值约束算法生成一组初始放大HR图像样本，计算样本库中HR图像与这些初始放大HR样本之间的残差，得到一组HR残差样本库，然后对初始放大的HR人脸样本图像进行下采样，计算下采样后的子图像与LR人脸样本图像之间的残差，得到LR残差人脸样本图像；由于局部细节补偿时是分块进行的，所以在求取局部平均重建权值约束的时候也采用分块的方法；将HR残差人脸图像分成8×8的像素块，相应的LR残差人脸图像分成2×2的像素块；与全局平均重建权值约束的求解方法相似，W_l=0.8；（2）局部细节补偿生成最终放大人脸将全局初始放大人脸y_G进行4倍下采样，然后将下采样人脸与输入LR人脸x做差，得到输入LR残差人脸diffLR；对LR残差人脸diffLR进行分块处理，块大小为2×2个像素；从LR残差人脸样本库中依次找到每个残差图像块的K₂个最近邻残差块K₂=600；利用公式（5）得出LR残差图像块相对于的重建权值$W_L=[w_{L_1},w_{L_2},w_{L_3},...,w_{L_{K_2}}];$再利用公式（6）重建HR残差图像块$\left\{\begin{array}{c}\min \mathrm{\ϵ}={\left|\right|{\mathrm{LR}}_{L_i}-\underset{j=1}{\overset{K_2}{\mathrm{\Σ}}}{w}_{L_j}{\stackrel{\→}{l}}_{L_j}\left|\right|}_2+\mathrm{\α}|{\left|\right|W_L\left|\right|}_2-W_l|\\ {\mathrm{\Σ}}_{j=1}^{K_2}{w}_{L_j}=1;\\ w_{L_j}=0,\mathrm{if}({\stackrel{\→}{l}}_{L_j}\∉[{\stackrel{\→}{l}}_{L_1},{\stackrel{\→}{l}}_{L_2},{\stackrel{\→}{l}}_{L_3}......{\stackrel{\→}{l}}_{L_{K_2}}\left]\right)\end{array}\right.---\left(5\right)$${\mathrm{HR}}_{L_i}={\mathrm{\Σ}}_{j=1}^{K_2}{w}_{L_j}{\stackrel{\→}{h}}_{L_j}---\left(6\right)$其中是在HR残差人脸样本图像块库中相对应的HR残差人脸图像块；在（5）中，利用局部平均重建权值约束W_l对重建权值W_L进行约束，这样解最优化问题（5）后得出的重建权值就相对接近于目标HR残差人脸图像块的真实重建权值；依次重建HR残差图像块，最终重建出整幅HR残差图像diffHR；将HR残差人脸图像diffHR和初始放大人脸图像y_G相加，得到最终输出放大人脸图像y。