[发明专利]一种基于神经网络的图像超分辨率重建方法及设备

说明书

本发明提供了一种基于神经网络的图像超分辨率重建方法及设备，通过在超分网络中构建感受野与通道融合模块，所述感受野与通道融合模块包含多个含有感受野融合单元和通道信息融合单元的信息融合组。通过各个信息融合组中的感受野融合单元和通道信息融合单元对输入的特征图进行迭代信息融合，最后得到重建出的超分辨率图像。其中，利用感受野融合单元提升网络感受野，提高了网络对输入图像信息中不同区域信息密度差别的适应性，以及通过通道信息融合单元提供更多特征信息，缓解空间特征提取的压力，加快网络训练速度，提高网络效率，因此提升网络的自适应能力和鲁棒性。

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种基于神经网络的图像超分辨率重建方法及设备。

背景技术

基于深度学习的图像超分辨率重建算法自2016年SRCNN提出以来，产生了许多性能优秀的网络结构，如VDSR、EDSR等，VDSR在SRCNN的基础上加深了网络深度，同时引入了残差结构(ResNet)，缓解网络加深带来的梯度消失问题；EDSR进一步加深网络，同时将不同放大倍数的反卷积模块放进同一个网络中进行训练，解决了以往不同放大倍数的网络需要各自单独训练的问题，使超分网络更为一体化。

但现有超分网络采用单一尺度的小卷积核堆叠而形成的卷积核进行特征提取和特征映射，网络感受野固定，对输入图像信息分布的适应性较差，因此上述网络结构的性能并不能满足取得较佳图像处理效果的需求。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种基于神经网络的图像超分辨重建方法及设备，克服现有技术的网络结构感受野固定、通道信息利用率低的缺陷。

本发明解决技术问题所采用的技术方案如下：

第一方面，本实施例公开了一种基于神经网络的图像超分辨率重建方法，其中，所述神经网络包括：特征提取模块、感受野与通道融合模块和图像重建模块；其中，所述感受野与通道融合模块包括：多个包括感受野融合单元和通道信息融合单元的信息融合组；

所述图像超分辨率重建方法包括：

将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图；

将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图；

将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像。

可选的，所述感受野融合单元包括：多个对应不同尺度卷积核的第一卷积层和感受野融合层；

所述将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图的步骤包括：

输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图。

可选的，输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图的步骤包括：