[发明专利]一种基于联合多任务学习的人脸超分辨率重建系统

摘要

本发明提供一种基于联合多任务学习的人脸超分辨率重建系统，包括：采集模块，第一提取模块，重建模块，第二提取模块，以及训练模块。本发明通过针对人脸多属性学习任务的联合训练方法，获取人脸特征在相关任务间的共享表示；然后论证了感知损失在提高人脸语义信息的重建效果方面的可行性；最后，对人脸属性数据集进行增强，筛选缺失相关属性标签的数据，用面部关键点检测算法对特征点属性进行重提取，在此基础上进行联合多任务学习生成视觉感知效果更加真实的超分辨率结果。

主权项

1.一种基于联合多任务学习的人脸超分辨率重建系统，其特征在于，包括：采集模块，所述采集模块采集小尺寸人脸图像并进行初步放大，得到大尺寸的低分辨率模糊人脸图像；第一提取模块，所述第一提取模块利用多尺度特征图融合模型对所述模糊人脸图像进行特征提取，得到共享特征；重建模块，所述第一重建模块对所述共享特征进行重建得到粗糙的高分辨率人脸图像，进而利用多任务学习方法对人脸性别信息、人脸表情信息、人脸年龄信息、人脸关键点信息以及高分辨率人脸图像进行融合，获取人脸特征在相关任务间的共享表示，最终获得人脸先验知识；第二提取模块，所述第二提取模块将得到的所述高分辨率人脸图像和对应的高清人脸图像同时送入VGG16网络进行运算，得到与所述高分辨率人脸图像对应的第一人脸感知语义特征图，以及与所述高清人脸图像对应的第二人脸感知语义特征图，并提取所述第一人脸感知语义特征图与所述第二人脸感知语义特征图的差值；训练模块，所述训练模块将所述差值与所述人脸先验知识作为约束反向训练第一提取模块中的多尺度特征图融合模型。