[发明专利]全局-局部分离注意力机制的人脸超分辨率方法及系统

说明书

本发明公开了一种基于全局‑局部分离注意力机制的人脸超分辨率方法及系统，将高分辨率人脸图像下采样至目标低分辨率人脸图像；将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，提取粗糙的脸部特征图；构建分离注意力网络作为精细特征提取器，将粗糙的脸部特征输入分离注意力网络获得精细的脸部特征图，分离注意力网络包含若干个全局‑局部分离注意力组，每个全局‑局部分离注意力组产生两路局部注意力并用一个全局注意力模块融合不同的局部注意力，使局部注意力跨特征组交互，实现网络的全局注意力；将得到的人脸精细特征图进行上采样；将上采样后的人脸特征图重建成目标的高分辨率人脸图像。本发明能生成更高质量的人脸高分辨率图像。

技术领域

本发明属于计算机视觉人脸超分辨率领域，更具体地，涉及一种基于全局-局部分离注意力机制的人脸超分辨率方法及系统。

背景技术

人脸超分辨率(face hallucination)，是超分辨率(Super-Resolution，SR)的一个特殊领域，是一种从输入的低分辨率(Low Resolution，LR)人脸图像中推理出高分辨率(High Resolution，HR)图像的技术，可以显著增强低分辨率人脸图像的细节信息。在现实世界的监视场景中，成像传感器和人脸之间的距离往往过大，从而会导致低分辨率人脸图像。利用人脸超分辨率恢复高分辨率人脸图像，有助于目标人物识别。该方法在人脸检测、人脸识别和分析等许多应用中发挥着重要作用。

一般来说，人脸超分辨率和一般的图像复原方法一样，根据先验信息的来源可分为三类：插值法、重建法和基于学习的方法。基于插值的方法在不生成像素的情况下缩放图像的像素大小，并在周围像素的基础上通过数学公式计算缺失像素的值。基于重建的人脸超分辨率依赖于多幅LR输入图像融合亚像素配准信息。然而，当放大倍数过大时，基于插值和重建方法的效率和性能会大幅度降低。近十年来，基于学习的方法在人脸超分辨率中得到了广泛的应用，因为基于学习的方法能够充分利用训练样本中的先验信息，将LR图像映射到HR图像中，获得了令人满意的视觉效果。

最近，基于深度卷积神经网络(Convolutional Neural Networks，CNN)的方法比传统的SR方法有了显著的改进。其中，一种用于图像超分辨率的深度卷积网络(Learning aDeep Convolutional Network for Image Super-Resolution)，通过引入三层CNN来实现图像超分辨率。此后，在深度学习的发展过程中，SR的重建性能不断提高，并且人脸SR的性能也得到了提高。将注意力机制引入到人脸SR中，以聚焦人脸结构信息。在这些基于CNN的人脸SR的方法中，注意力机制可分为两类：基于全局注意力的方法和基于局部注意力的方法。基于全局注意力的方法直接集中注意力到全局的输入特征。一种纹理注意力模块(FaceSuper-Resolution by Learning Multi-view Texture Compensation)来获取人脸图像与多视角人脸图像的全局对应关系。一种基于多尺度注意力的人脸SR方法(Parsing mapguided multi-scale attention network for face hallucination)，用于提取多尺度全局信息，利用特征的通道和空间相关性。全局注意力使得网络关注全局结构信息，而忽略局部细节信息。基于局部注意力的方法将输入按一定的维数分成若干个局部块，然后集中注意力在这些局部块上，以利用局部结构信息。一种两阶段人脸SR的方法(Learning tohallucinate face images via Component Generation and Enhancement，LCGE)，分别对人脸图像中的五个器官结构进行SR，然后将这些重建的器官结构恢复到人脸图像中，使CNN的注意力集中在局部的面部信息上。一种基于区域的注意力机制(Parallel Region-BasedDeep Residual Networks for Face Hallucination，PRDRN)，使深度残差网络更好地重建人脸图像。