[发明专利]基于分层多尺度残差融合网络的人脸超分辨率方法及装置

权利要求书

1.一种基于分层多尺度残差融合网络的人脸超分辨率方法，其特征在于，包括：

S1：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将所述目标低分辨率人脸图像进行分块操作，分出相互重叠的图像块；

S2：将所述相互重叠的图像块输入瓶颈注意力模块，使用所述瓶颈注意力模块提取精细的脸部特征图；

S3：由多尺度残差模块对提取的精细脸部特征图进行处理，以由所述多尺度残差模块使用不同卷积层提取特征信息，使用信息共享的方式实现特征信息共享，在所述多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合；

S4：将经过多尺度残差模块得到的人脸特征信息通过特征融合来更新所述目标低分辨率人脸图像的纹理特征图以产生高分辨率结果；

所述瓶颈注意力模块包括以并联方式连接的通道注意力模块和空间注意力模块，在所述通道注意力模块和所述空间注意力模块之后为融合模块；

步骤S2包括：

S2.1：将所述相互重叠的图像块输入卷积层，以生产粗糙的面部特征图像，将所述粗糙的面部特征图像同时发送到通道注意力模块和空间注意力模块，通过所述通道注意力模块得到通道注意力图，通过所述空间注意力模块得到空间注意力图；

S2.2：将所述通道注意力图和所述空间注意力图扩展到相同尺寸后，将扩展后的通道注意力图与空间注意力图并行融合，通过融合模块将提取的局部特征图与输入的全局特征图进行融合，生成精细的面部特征，所述局部特征图表示通道注意力图和空间注意力图融合后的特征图，全局特征图表示输入的相互重叠的图像块。

2.根据权利要求1所述的方法，其特征在于，所述多尺度残差模块包括三层子网络，不同的子网络使用不同的卷积内核。

3.根据权利要求2所述的方法，其特征在于，步骤S3包括：

S3.1：通过第一层子网络中的各不同卷积核分别提取精细的人脸特征图中的人脸多尺度特征信息，然后通过三个卷积层之间的交叉连接的方式达到信息共享，以信息共享的方式输入到第二层子网络中的各不同卷积核；

S3.2：由第二层子网络中的各卷积核将第一层子网络中各卷积核提取的特征信息再次融合；

S3.3：通过最后一层子网络的卷积层将第二层子网络中的各卷积核融合后的特征信息融合在一起，使得多尺度残差模块的输入和输出具有相同数量的特征映射。

4.根据权利要求3所述的方法，其特征在于，在步骤S4之前，所述方法还包括：

将各多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起。

5.根据权利要求4所述的方法，其特征在于，由F_LR＝ω*[M₀,M₁,...,M_i,...]+b将各多尺度残差模块的输入和输出通过快捷连接和逐元素添加的方式级联在一起，其中，ω和b分别表示权重和偏差，M₀表示瓶颈注意力模块的输出，M_i,i≠0表示第i个多尺度残差模块的输出，[M₀,M₁,...,M_i,...]表示级联操作。