[发明专利]基于多引导图和自适应特征融合的人脸图像复原系统

说明书

基于多引导图和自适应特征融合的人脸图像复原系统，涉及图像复原处理技术领域，为解决现有技术中无法有效的复原真实低质量图像的问题，包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，本发明所述的基于多引导图和自适应特征融合的人脸图像复原系统能够有效地对低质量人脸图像进行增强，可以有效的复原真实低质量图像。

技术领域

本发明涉及图像复原处理技术领域，具体为一种基于多引导图和自适应特征融合的人脸图像复原系统。

背景技术

人脸图像复原目的是从一幅低质量人脸图像(模糊、低分辨率、压缩严重、噪声多等常见低质量)复原出高质量人脸图像。低质量人脸图像通常由于拍摄年代久远、拍摄设备受限、在存储过程中存在的失真，不可避免的会降低人脸图像质量。随着技术的发展，人们越来越追求高视觉质量的多媒体信息，例如2K和4K视频。因此，如何把低质量人脸图像复原为高质量的图像，一直都是学者们研究的热点。

近年来，随着深度学习的进一步发展，图像复原也逐渐获得突破性的进展。学者们将卷积神经网络应用到不同的单一复原任务中，例如超分辨，去燥，去模糊等操作中，也同样获得了实际性进展。然而，真实的低质量图像由于其未知退化类型，因此，现有的方法无法对其进行有效复原和增强，往往无法取得较理想的增强效果。

现有的基于正面引导图的人脸复原工作，对于每一个人只取一张正面图像作为引导信息，无法适应到在真实的人脸复原工作中。人脸由于多样性，具有不同的姿态、表情以及光照影响，单一的引导图无法适应于真实人脸复原场景中。

此外，通过简单地将引导图与退化图特征串联，无法有效发挥出引导图作用。退化图需要有效的根据退化图的退化程度，从而提供相应的特征。

发明内容

本发明的目的是：针对现有技术中无法有效的复原真实低质量图像的问题，提出一种基于多引导图和自适应特征融合的人脸图像复原系统。

本发明为了解决上述技术问题采取的技术方案是：

基于多引导图和自适应特征融合的人脸图像复原系统，所述系统包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，

所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；

所述最优引导图特征提取模块用于提取最优引导图的特征；

所述退化图特征提取模块用于提取退化图的特征；

所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；

所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；

所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；

所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；

所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图。