[发明专利]一种引入显著性的GAN图像超分辨率方法

说明书

本发明涉及一种引入显著性的GAN图像超分辨率方法，属于图像处理技术领域。该方法包括：S1：将低质量图像输入GAN网络，利用生成器生成伪高质量图像，其中，生成器包括图像特征提取网络和显著性预测网络；S2：利用判别器区分出伪高质量图像和真正的高质量图像。本发明方法能适用于一切需要将低质量图像转换成高质量图像的实际应用场景中，并且模型参数少，准确率高，生成高质量图像与原始高清图像差距很小。

技术领域

本发明属于图像处理技术领域，涉及一种引入显著性的GAN图像超分辨率方法。

背景技术

随着多媒体的不断发展，视频图像等介质越来越多的出现在人们的生活中。在多种场景中，例如视频监控、汽车驾驶、门禁识别等，视频图像都发挥着一个重要作用。但是，很多时候图像可能并不全是高质量清晰可见的图像，存在一些低质量模糊有噪声等情况，这些低质量的图像会对一些场景的应用产生阻碍。例如，在人脸识别系统中，若采集到的图像有轻微的抖动存在时都会使得人脸图像模糊，这种图像与身份证上的清晰图像做比对，很容易产生识别错误等情况；在汽车驾驶过程中，有些雨雪雾等恶劣天气情况下，驾驶人员观测后视镜后方场景时看到的图像受噪声因素影响可能存在一些干扰。由此可见，一张高质量的图像在各种应用场景中都是至关重要的。但是，由于一些其他因素的影响，高质量图像并不是随时可以获得的。

发明内容

有鉴于此，本发明的目的在于提供一种引入显著性的GAN图像超分辨率方法，用于解决将低质量图像转换成高质量图像问题，引入显著性机制进一步地探测图像的内容信息与GAN共同生成高质量图像。

为达到上述目的，本发明提供如下技术方案：

一种引入显著性的GAN图像超分辨率方法，包括以下步骤：

S1：将低质量图像输入GAN网络(GAN网络主要由生成器和判别器构成)，利用生成器生成伪高质量图像，其中，生成器主要包括图像特征提取网络和显著性预测网络；

S2：利用判别器区分出伪高质量图像和真正的高质量图像。

进一步，步骤S1中，所述图像特征提取网络主要包括38个卷积层，其中，有36个卷积层采取的是残差结构；所述残差结构是将输入特征x与输出特征H(x)相加作为最后的输出结果，再进行下一个残差块结构。

进一步，步骤S1中，所述显著性预测网络选取DeepFixNet，含有8个卷积层，通过卷积层层层抽取图像的特征，最终得到图像的显著图。

进一步，步骤S1中，利用生成器生成伪高质量图像过程中，首先，调整图像特征提取网络和显著性预测网络的卷积层中stride参数与pooling层中采样的参数，使得图像特征图与显著特征图在通道数、图像尺寸大小保持一致；然后，在残差结构的最后一层输出与DeepFixNet的卷积层的最后一层输出，图像特征图与显著特征图采用点乘的方式进行融合，具体表达式为：

其中，Fusion表示融合特征图，I_feat(i,j)表示图像特征图、I_sal(i,j)表示显著特征图，(i,j)表示图像像素点位置，M、N表示图像的长宽；

最后，融合后的图像经过一层卷积层与一层反卷积层得到伪高质量图像。

进一步，步骤S1中，生成器利用MSE loss约束方式来缩小生成的伪高质量图像与原始高质量图像之间的差距，根据loss的数值不断调整参数的变化方向，使得生成的伪高质量图像越来越清楚；其中MSE loss约束的表达式为：

其中，M、N表示图像的长宽；MSE表示均方误差，gnd(i,j)表示原始高清图像，out(i,j)表示伪高质量图像。