[发明专利]一种基于反馈机制的单图像超分辨率重建系统及方法

说明书

本发明公开了一种基于反馈机制的单图像超分辨率重建系统及方法，本发明采用了反馈机制，通过浅层特征提取模块、第一深层特征提取模块、第一重建模块形成低分辨率图像的第一次迭代；通过特征精炼模块、第二深层特征提取模块、第二重建模块形成低分辨率图像的第二次迭代，本发明能够将第一次迭代提取的深层特征映射精炼第二次迭代的浅层特征映射，能够在不加深网络深度的情况下提取到低分辨率图像的更深层的特征，从而提升图像网络模型的训练效果。

技术领域

本发明涉及计算机图像超分辨率处理技术领域，特别涉及一种基于反馈机制的单图像超分辨率重建系统及方法。

背景技术

单图像超分辨率(Single Image Super-Resolution)重建算法目的是将低分辨率图片通过一系列算法恢复成视觉效果良好的高分辨率图像。实际上，单图像超分辨率属于不适定的算法问题，即对于任意的低分辨率图像，都有可能存在无数的高分辨率图像与之对应。传统的单图像超分辨率方法包括基于插值的方法、基于重建模型的方法和基于学习的方法。基于插值的方法利用基函数或插值核来逼近损失的图像高频信息，常见的插值法包括最邻近插值、双线性插值和双三次插值算法等。基于重建模型的方法通过将图像的先验知识输入到图像超分辨重建过程中，使得这个不适定问题变得可解；包括内核估计方法和图像梯度的稀疏性作为算法的先验知识等。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。

传统单图像超分辨率方法虽然能够实现高分辨率图像重建，但随着放大倍数的增大，人为定义的先验知识和观测模型所能提供用于重建的高频信息越来越少，这使得传统方法很难有重建效果上的突破。基于深度学习的单图像超分辨率算法最早是2015年由Dong等人提出的基于卷积神经网络的超分辨率重建(Super-Resolution using ConvolutionalNeural Networks，SRCNN)方法，该模型采用了三层卷积结构实现了低分辨率到高分辨率的重构方法，并取得了比传统方法更好的重构效果。后续也不断有新算法的提出，但目前的基于深度学习的单图像超分辨率算法还存在有以下缺陷：对特征学习只考虑了前向传播，即使像DRCN类似的RNN网络，从浅层到深层特征之间的传递都是前馈传播，并未利用到人类视觉系统中普遍存在的反馈机制。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于反馈机制的单图像超分辨率重建系统及方法。

本发明的第一方面，提供了一种基于反馈机制的单图像超分辨率重建系统，用于训练图像网络模型，包括：

浅层特征提取模块，用于提取经均值平移分割后的低分辨率图像的浅层特征；

第一深层特征提取模块，用于从所述浅层特征中提取所述低分辨率图像的深层特征；

第一重建模块，用于对所述第一深层特征提取模块输出的深层特征进行重建，得到第一超分辨率图像，所述第一超分辨率图像用于计算所述图像网络模型的损失函数；

特征精炼模块，用于将所述浅层特征和所述第一深层特征提取模块提取的深层特征进行级联和卷积操作，得到精炼特征；

第二深层特征提取模块，用于从所述精炼特征中提取所述低分辨率图像的深层特征；

第二重建模块，用于对所述第二深层特征提取模块输出的深层特征进行重建，得到第二超分辨率图像，所述第二超分辨率图像用于计算所述图像网络模型的损失函数以及作为所述图像网络模型的超分辨率图像输出。

根据本发明的实施例，至少具有如下技术效果：