[发明专利]一种基于双向对抗网络的图像超分辨率重建方法

说明书

本发明涉及一种基于双向对抗网络的图像超分辨率重建方法，首先对输入的图像数据进行数据增强；然后将数据增强后的图像数据进行预处理；接着搭建下采样网络与重建网络；然后训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；最后将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。本发明可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。

技术领域

本发明涉及图像处理技术领域，特别是一种基于双向对抗网络的图像超分辨率重建方法。

背景技术

图像超分辨率(Super-Resolution，SR)重建技术旨在从一幅或多幅低分辨率图像重建出一幅高分辨率图像。超分辨率重建属于低层计算机视觉领域中的经典问题，对于给定的任何一个低分辨率像素图像存在多幅与之对应的高分辨率图像，这是一个典型的病态逆问题，具有严重不适定性，解决这个问题需要先验信息。

卷积神经网络(Convolutional neural network,CNNs)能够获得图像的高频特征、强化细节信息，并且特别擅长获取图像像素在小领域范围内的相关性信息。将卷积神经网络应用与图像超分辨率重建中，并取得了很好的效果。

基于深度学习的图像重建方法，如SRCNN、FSRCNN、VDSR等。这些方法生成的结果虽然都具有较高的PSNR等客观评测指标，但其生成的结果大多过于平滑致使缺少一些关键的图像细节信息，同时这些方法获取低分辨率图像的方法是简单的通过人为假定的下采样过程获得，比如双三次插值(Bicubic)，无法处理现实生活中由于各种模糊及运动干扰的低分辨率图像。

发明内容

有鉴于此，本发明的目的是提出一种基于双向对抗网络的图像超分辨率重建方法，可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。

本发明采用以下方案实现：一种基于双向对抗网络的图像超分辨率重建方法，包括以下步骤：

对输入的图像数据进行数据增强；

将数据增强后的图像数据进行预处理，将处理后的数据分为训练集与测试集；

搭建下采样网络与重建网络；

训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；

将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。

进一步地，所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍。

进一步地，所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：

x＝(x-μ)/σ；

式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差。

进一步地，所述搭建下采样网络具体包括以下步骤：

构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；

构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。

进一步地，所述搭建重建网络具体包括以下步骤：

构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；

构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。