[发明专利]一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

说明书

本发明公开了一种基于多尺度卷积和感受野特征融合的人脸超分辨系统，该系统包括依次连接的粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块、图像增强模块和对抗网络；人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。该系统适用于人脸的增强，尤其是小分辨率的人脸，通过高低频特征交互增强和人脸先验知识的利用，具有放大倍数高，高频细节还原度高的特点；采用感受野模块有助于提取细节特征并降低计算复杂度。

技术领域

本发明属于计算机视觉、图像处理领域，尤其涉及一种基于多尺度卷积和感受野特征融合的人脸超分辨系统。

背景技术

图像分辨率的大小直接关系到图像的质量，更高的高分辨率意味着包含更多的细节信息，蕴含更大的应用潜能。然而在实际图像获取过程中，由于成像设备本身的限制、环境因素的影响导致无法直接获取高质量的图像，同时，由于存储介质和网络带宽的影响，最终获得的图像分辨率也较低，阻碍图像的进一步处理和应用。随着计算机视觉技术的不断发展，尤其是深度学习的发展，图像画质增强方法也越来越多，超分辨技术就是一项图像画质增强的有效手段，可以显著提升图像的分辨率。图像超分辨率技术是将低分辨率的图像通过软件手段，将其上采样到高分辨率图像，与硬件方式相比，可以有效降低图像增强的成本，在卫星成像、安防监控、医学检测、刑事侦查、历史图像修复增强等多个领域都具有非常重要的应用价值。例如通过增强卫星图的分辨率，可以让目标检测识别网络更好地识别其中的目标，在安防监控场景中，由于摄像头和周围环境等因素，拍摄到的目标会存在模糊，导致无法识别目标，通过超分辨技术可以重构出较为清晰的画面，提高目标人脸的分辨率，从而对快速定位到目标人物提供帮助。因此，图像超分辨技术作为一种低层的图像处理方法，可以为后续的目标检测识别等高层的处理方法提供有效的支持。

目前有很多关于图像超分辨的网络，在处理各种各样的场景、物体方面都有了比较明显的提升，针对人脸超分辨方面的网络较少，很多方法都是通过构建相应的人脸数据，然后用已有的网络进行训练，虽然取得了一些进步，但是针对低分辨率的人脸，超分效果不是很好，而人脸相对于场景和物体来说，有着较为统一的结构信息，低频结构信息对于人脸识别作用很大，为了克服现有技术的不足，提升人脸超分的效果，将人脸分为低频结构成分部分与高频细节成分部分，不同于现有方法将整个图像融入到网络中，而是将输入图像进行分解为两部分(结构和细节)并送入到网络中，并考虑这两种信息的交互关系，使其不仅有助于锐化人脸的结构信息，同时有助于复原细节。

发明内容

本发明的目的在于针对现有技术对低分辨率人脸图像分辨率增强方面的不足，提供了一种基于多尺度卷积和感受野特征融合的人脸超分辨系统。该人脸超分辨系统在恢复高频细节的同时保证低频结构的一致性，将原始输入图像分解为纹理细节和结构信息两部分，分别通过网络进行纹理细节和人脸结构的增强处理，并保持两种信息的交互关系，通过人脸关键点提取网络进行人脸关键点信息的提取并反馈到主干网络中来进一步提升人脸信息。

为实现上述目的，本发明采用如下技术方案：一种基于多尺度卷积和感受野特征融合的人脸超分辨系统，包括：粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、人脸关键点提取网络、融合模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络；所述粗超分辨率模块、粗上采样模块、第一多尺度卷积模块、高低频增强模块、精超分辨率模块、精上采样模块、第三度尺度卷积模块和对抗网络依次连接，所述人脸关键点提取网络和高低频增强模块分别与融合模块连接，所述融合模块、粗超分辨率模块分别与精超分辨率模块连接。

进一步地，所述粗超分辨率模块将原始人脸图像初步增强人脸的结构信息和纹理细节，获得人脸特征图；所述粗超分辨率模块由卷积层和多残差密集模块依次连接组成。

进一步地，所述粗上采样模块用于对人脸特征图的像素进行增强处理，获得放大的中分辨率图；所述粗上采样模块由最邻近、LeakyReLU非线性变换和亚像素卷积、LeakyReLU非线性变换组成。