[发明专利]一种基于新型端到端人脸超分辨率网络的图像对齐方法

说明书

技术领域

本发明涉及图像处理领域，尤其是涉及了一种基于新型端到端人脸超分辨率网络的图像对齐方法。

背景技术

图像对齐是图像处理中的一个基本问题，广泛应用于公安、军事侦查、医学图像处理等众多领域。具体地，在公安领域，可在案件侦查中处理采集到的监控图像，提取两幅监控图像各自的特征点，对两幅图像的特征点集进行对齐，从而实现图像拼接以及目标识别，有效识别监控中的可疑人员，进一步增强安防能力。在军事侦察领域，面对复杂的军事环境，如野外环境作战、空中无人机侦查等，利用图像对齐，可以提高侦查系统中敌人的识别率以及跟踪的精度和可靠性。而在医学图像处理领域，为肿瘤检测、病变定位、血细胞显微图像分类等医学图像分析提供了便利。虽然对人脸超分辨率的研究颇多，但是由于人脸的复杂性，现存的方法大部分采用多阶段而不是端到端的训练，使得方法过于繁琐和复杂，因此要在保证超分辨率图像质量的前提下，进一步简化研究方法，尚且存在一定的挑战。

本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，首先构造一个粗粒度超分辨率(SR)网络来恢复粗粒度高分辨率(HR)图像，然后将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计和解析关键点热点图，在细粒度SR解码器中使用图像特征和先验信息恢复HR图像。为了进一步产生逼真的面孔，提出人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，利用由人脸超分辨率网络和人脸超分辨率生成对抗网络组成的网络进行图像对齐，可以有效提高成像质量，简化了图像对齐方法。

发明内容

针对图像对齐，本发明提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，构造一个粗粒度超分辨率(SR)网络来恢复粗粒度的高分辨率(HR)图像，将粗粒度HR图像分别发送到细粒度SR编码器和先验信息估计网络中，细粒度SR编码器用来提取图像特征，先验信息估计网络用来估计关键点热点图，在解码器中使用图像特征和先验信息恢复HR图像，为了进一步产生逼真的面孔，提出了人脸超分辨率生成对抗网络，并将对抗损失纳入人脸超分辨率网络。

为解决上述问题，提出了一种基于新型端到端人脸超分辨率网络的图像对齐方法，其主要内容包括：

(一)人脸超分辨率网络；

(二)人脸超分辨率生成对抗网络。

其中，所述的人脸超分辨率网络，人脸超分辨率网络(FSRNet)由粗粒度超分辨率网络和细粒度超分辨率网络组成，其包括细粒度SR编码器、先验估计网络以及细粒度SR解码器，用x表示低分辨率输入图像，用y表示通过FSRNet恢复的高分辨率(HR)图像，p表示通过FSRNet估计的先验信息，由于在先验估计中输入的低分辨率图像清晰度较低，故构造一个粗粒度SR网络来恢复粗粒度SR图像，通过以下等式给定：

其中，x是低分辨率(LR)图像，y_c是粗粒度SR图像，是粗粒度超分辨率网络从图像x到图像y_c的映射，y_c分别被发送到先验估计网络和细粒度SR编码器上，得到以下等式：

其中，f是由编码器提取的特征，编码完成之后，利用SR的解码器连接图像特征f和先验信息p来恢复SR图像，由以下等式表示：

给定一个训练集其中N是所训练图像的数量，x⁽ⁱ⁾是位于标定超分辨率图像中的低分辨率图像，是标定的先验信息，FSRNet的损失函数由下式给定：

其中，Θ表示参数集，λ是先验损失的权重，y⁽ⁱ⁾和p⁽ⁱ⁾是恢复的HR图像，p⁽ⁱ⁾是在第i个图像估计的先验信息。

进一步地，所述的粗粒度超分辨率网络，使用粗粒度SR网络大概恢复粗粒度HR图像，以此减轻估计先验信息的困难，粗粒度SR网络体系结构由3×3的卷积层开始，然后是3个残差模块，最后使用另一个3×3的卷积层来重建粗粒度HR图像。

进一步地，所述的细粒度超分辨率网络，在细粒度SR网络中，粗粒度HR图像被发送到先验估计网络和细粒度编码器网络中，分别用来进行面部先验信息估计和特征提取，然后解码器使用这两个结果来恢复细粒度HR图像。