[发明专利]图像超分辨率重建方法、装置、设备及存储介质

说明书

本申请公开了一种图像超分辨率重建方法、装置、设备及存储介质，所述方法中，包括获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；构建包括生成器网络和判别器网络的生成对抗网络模型，将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，该损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函数包括内容损失函数和对抗损失函数，所述内容损失函数包括VGG网络损失函数，光照损失函数和结构相似性损失函数，所述生成器网络的损失函数的表达式为：。本方案能够使得生成对抗网络模型对光照强度更加敏感，以及使得生成的图像视觉质量更好。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。

背景技术

单幅图像的超分辨率(SISR)旨在从低分辨率图像(LR)恢复超分辨率图像(SR)，以此来得到近似真实的高分辨率图像（HR）。这在许多领域中直接应用，如医学成像、卫星成像、人脸识别和视频监控等。目前，人们对图像的要求越来越高，尤其是清晰度方面。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈，同时在图像存储及夜间光照不足情况下也会产生低分辨率的图像。从软件方面提高图像分辨率，一定程度上克服了上述不足。因此，图像超分辨率重建成为研究热点之一。

目前超分辨率重建的方法主要有基于深度学习的超分辨率重构方法。Dong等首先提出了一种基于深度学习的方法——基于卷积神经网络的超分方法(SRCNN)，证明卷积神经网络可以被有效应用于端到端的学习LR到SR的映射。Shi等人提出了亚像素卷积的方法(ESPCN)，直接在低分辨率图像LR上进行特征提取，通过亚像素卷积层将特征图像进行重新排列，得到超分辨率图像。

Ledig等把生成对抗网络(Generative Adversarial Network，GAN)应用于超分辨率重建，提出了基于生成对抗网络的超分辨率(Super-Resolution Using a GenerativeAdversarial Network，SRGAN)算法，虽然这种博弈式的优化SRGAN能够生成高质量的图像，但是细节效果较差，并且对光照变化的敏感度不够，往往无法很好的解决低光照下单一图像超分辨率问题。

发明内容

本申请实施例提供一种图像超分辨率重建方法、装置、设备及存储介质，能够使得生成对抗网络模型对光照强度更加敏感，解决了低光照下单一图像超分辨率问题，并且可以使得生成的图像视觉质量更好，更加自然。

为了解决上述技术问题，本申请一方面提供一种基于生成对抗网络的图像超分辨率重建方法，包括：

获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；

构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；

将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函数包括内容损失函数和对抗损失函数，所述内容损失函数包括VGG网络损失函数，光照损失函数和结构相似性损失函数，所述生成器网络的损失函数的表达式为：；

将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。

更进一步地，所述光照损失函数的表达式为：

；

其中，；

；