[发明专利]一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

权利要求书

1.一种基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，包括：粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、人脸关键点提取网络、融合模块、精超分辨率模块、精上采样模块、第三多尺度卷积模块和对抗网络；所述粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三多尺度卷积模块和对抗网络依次连接，所述人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗上采样模块、高低频增强模块分别与精超分辨率模块连接；

所述粗超分辨率模块将原始人脸图像进行人脸的结构信息和纹理细节初步增强，获得人脸特征图；所述粗超分辨率模块由卷积层和多残差密集模块依次连接组成；

所述粗上采样模块用于对人脸特征图的像素进行增强处理，获得放大的中分辨率图；所述粗上采样模块由第一最邻近、第一LeakyReLU非线性变换和亚像素卷积、第二LeakyReLU非线性变换组成；

所述第一多尺度卷积模块用于对中分辨率图和原始人脸图像叠加的图像进行图像高低频特征分离，获得人脸特征的高频信息和低频信息；

所述高低频增强模块将高频信息和低频信息均通过权值共享的多残差密集模块，然后输入具有跨尺度通信的第二多尺度卷积进行处理，所述第二多尺度卷积由高低频两个支路构成，其中高频信息通过平均池化操作缩小到低频信息的分辨率，然后与低频信息经过卷积层处理后的特征图进行叠加，所述低频信息通过第二最邻近和亚像素卷积上采样后得到与高频信息相同的分辨率，然后与高频信息经过卷积层处理后的特征图进行叠加，再经过一个第二多尺度卷积，输出增强高频信息和增强低频信息；

所述人脸关键点提取网络用于将目标分辨率的图像进行关键点信息提取，获得人脸关键点信息，根据人脸关键点信息获得人脸关键点热图；

所述融合模块用于将人脸关键点热图和增强低频信息进行融合，获得低频特征；所述精超分辨率模块用于接收融合模块的输出低频特征、高低频增强模块输出的增强高频信息以及粗上采样模块获得的中分辨率图，恢复图像的细节特征；

所述精上采样模块用于对精超分辨率模块恢复细节特征的图像进行像素的增强，获得与目标分辨率一致的高频特征图和对应的低频特征图；所述精上采样模块由第三最邻近、感受野模块RFB、第三LeakyReLU非线性变换和亚像素卷积、感受野模块RFB、第四LeakyReLU非线性变换依次组成；

所述第三多尺度卷积模块的高频支路将精上采样模块得到的高频特征图通过一个卷积处理，低频支路对精上采样模块得到的低频特征图交替使用最邻近放大2倍和亚像素卷积放大2倍，最终得到与高频信息相同的分辨率并进行叠加，叠加之后的特征经过一个LeakyReLU非线性变换，再经过一个卷积操作得到目标分辨率的图像。

2.根据权利要求1所述基于多尺度卷积和感受野特征融合的人脸超分辨系统，其特征在于，所述对抗网络基于视觉感知质量的损失函数通过生成对抗学习的方式训练，将训练好的对抗网络判断第三多尺度卷积模块得到的目标分辨率的图像质量是否满足训练集中真值图像质量的要求；

所述视觉感知质量的损失函数L_G具体为：

L_G＝λ_advL_adv+λ_fmL_fm+λ_pixL_pix+λ_lmL_lm+λ_LPIPSL_LPIPS

其中，L_adv表示对抗损失函数，λ_adv表示对抗损失权重，L_fm、λ_fm分别表示特征匹配损失函数和对应的特征匹配损失权重，L_pix、λ_pix分别表示像素损失函数和对应的像素损失权重，L_lm、λ_lm分别表示人脸关键点损失函数和对应的人脸关键点损失权重，L_LPIPS、λ_LPIPS分别表示内容感知损失函数和对应的内容感知损失权重。