[发明专利]一种图像超分辨率重建的方法及系统

说明书

本发明涉及一种图像超分辨率重建的方法及系统，包括以下步骤：输入的低分辨率图像，从低分辨率图像中提取基础图像特征；以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；将基础图像特征与多个高层次特征输出融合，获得融合特征；通过融合特征重建图像，获得重建的高分辨率的图像输出。其能够以更高的效率得到与现有MSRN相似的单帧图像超分辨率重建性能，所使用的参数少，运算速度快,其亦可增加使用AMB模块的数量，从而与现有MSRN具有相似的计算复杂度，但是能够得到更好的单帧图像超分辨率重建性能。

技术领域

本发明涉及数字图像处理技术领域，尤其是指一种图像超分辨率重建的方法及系统。

背景技术

单帧图像超分辨率重建(Single image super-resolution，简称SISR)是一种基础的图像处理技术，其目的是将一张低分辨率(low-resolution，简称LR)的图像放大成一张高分辨率(high-resolution，简称HR)的图像，目前该技术已被广泛地应用于多种基于图像的应用中。近年来，对于该问题的研究主要集中于基于深度学习的方法。其中，一部分方法采用了多尺度策略，通过使用不同尺度的感受野来模拟人眼从不同尺度观察图像，有利于更好地进行图像的特征提取；因此，采用了多尺度策略的这些方法通常能够以更为轻量级的网络结构实现与需要大量参数的更深的模型相当的超分辨率重建性能。

Li等人提出了一种用于执行单帧图像超分辨率的多尺度卷积神经网络(convolutional neural network，简称CNN)方法，名为多尺度残差网络(multi-scaleresidual network，简称MSRN)。MSRN使用了一组多尺度残差模块(multi-scale residualblock，简称MSRB)来进行特征提取，具体来说，每个MSRB并行地使用了两种不同尺寸(包括3×3和5×5)的卷积窗口分别从低尺度和高尺度提取图像特征。总的来说，MSRN展现出了令人满意的单帧图像超分辨率重建结果。

然而，在MSRB中使用较大尺寸卷积窗口(5×5)时需要大量的参数，这严重限制了多尺度特征提取的效率。因此，如何提供一种解决该问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中MSRN多尺度特征提取效率低的技术问题。

为解决上述技术问题，本发明提供了一种图像超分辨率重建的方法，包括以下步骤：

输入的低分辨率图像，从低分辨率图像中提取基础图像特征；

以基础图像特征作为初始输入，使用多个顺序执行的AMB模块依次提取更高层次的特征，获得多个高层次特征输出；

将基础图像特征与多个高层次特征输出融合，获得融合特征；

通过融合特征重建图像，获得重建的高分辨率的图像输出。

作为优选的，所述AMB模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；

所述第一卷积层和所述第三卷积层进行低尺度提取，所述第二卷积层和第四卷积层进行高尺度提取；

所述第一卷积层、第三卷积层和第五卷积层依次连接；所述第二卷积层的输入端与所述第一卷积层的输出端连接，所述第二卷积层的输出端第三卷积层的输入端连接；所述第四卷积层的输入端与第三卷积层的输出端连接，所述第四卷积层的输出端与所述第五卷积层的输入端连接；

所述第五卷积层将输入的特征进行融合。

作为优选的，所述第五卷积层之后还设置有残差连接层，所述残差连接层与所述第一卷积层的输入端连接。

作为优选的，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层皆为3×3卷积层，所述第五卷积层为1×1卷积层。