[发明专利]一种图像超分辨率重建方法、系统及计算机存储介质

说明书

本发明涉及一种图像超分辨率重建方法、系统及计算机存储介质，其方法包括以下步骤，S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将原始高分辨率图像进行插值下采样，得到低分辨率图像；S2，基于生成网络对低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；S3，基于判别网络和原始高分辨率图像对超分辨率图像进行真伪判别。本发明其将单一的低分辨图像通过边缘细节信息增强表达，在原始超分辨率重建生成网络中加入边缘增强融合网络提高了图像超分辨率重建性能，获得更清晰的重建图像；另外，判别网络也可以提升边缘增强生成对抗网络的重建性能。

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种图像超分辨率重建方法、系统及计算机存储介质。

背景技术

人脸超分辨率重建是基于图像超分辨率重建的思想，结合人脸图像中的结构性特征所产生有侧向性的图像超分辨率重建算法，实现从信息量较少的低分辨率(Low-Resolution，LR)人脸图像能够还原恢复出信息量丰富的高分辨率(High-Resolution，HR)人脸图像的技术。人脸超分辨率技术能够提升人脸图像的分辨率和清晰度，使得在原始极低分辨率图像中有限的人脸信息能够得到更加细致的表达，在安防、刑侦等应用中发挥了重要的作用。

Dong等人将图像超分辨率重建(Super-Resolution，SR)问题带入深度学习的时代，首次将卷积神经网络应用于图像超分辨率重建问题。在此之后图像超分辨率重建算法百家争鸣，Kim等人借鉴图像分类问题中(Visual Geometry Group，VGG)网络架构，提出网络越深效果越好的(Deep Convolutional Network for Image Super-Resolution，VDSR)。但是在实际的测试中由于VDSR其缺乏层间信息反馈及上下文信息关联而不能达到设想的效果。Ledig等人将生成式对抗网络用于SR问题，提出(Super-Resolution GenerativeAdversarial Network,SRGAN)和基于残差学习的(Super-Resolution Residual Network,SRResnet)。SRGAN和SRResnet算法在通用图像上能够实现较好的效果，但是由于人脸的结构性的缺失使得生成的人脸图像在具有伪影等模糊现象。

在人脸超分辨重建任务上，通用场景图像的深度学习超分辨率方法对人脸目标的前景和背景内容没有区分，导致重建人脸图像与背景部分、五官与面部过渡部分细节模糊，难以满足实际需求。Lu等人通过双重中继残差网络直接用于人脸图像的超分辨率重建中，获得了边缘增强的人脸图像，但是面部细节的恢复不够清晰。Yang等人增强SRGAN中判别网络的判别能力反向促进生成器生成能力的思路设计出侧重于人脸超分辨率重建，使得更好的恢复出人脸细节信息。人脸生成图像具有很好的视觉主观效果，但是在人脸边缘部分细节信息不够明显。

发明内容

本发明所要解决的技术问题是提供一种图像超分辨率重建方法、系统及计算机存储介质，能够有效提升图像的超分辨率重建性能。

本发明解决上述技术问题的技术方案如下：一种图像超分辨率重建方法，包括以下步骤，

S1，将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；

S2，基于生成网络对所述低分辨率图像进行基于边缘增强的超分辨率重建，得到超分辨率图像；

S3，基于判别网络和所述原始高分辨率图像对所述超分辨率图像进行真伪判别；

当所述超分辨率图像为伪图像时，基于判别结果学习隐藏在所述生成网络中的损失函数，调整所述生成网络的隐变量参数，基于学习调整后的所述生成网络，重复执行所述S2，直至所述超分辨率图像为真图像；

当所述超分辨率图像为真图像时，结束操作。