[发明专利]单幅图像超分辨率的多尺度残差融合模型及其复原方法

权利要求书

1.一种单幅图像超分辨率的多尺度残差融合模型的复原系统，其特征在于，包括依次连接的特征提取模块、非线性映射模块和重建模块；

所述特征提取模块，采用3×3、5×5和9×9的3_5_9卷积核模式，三个尺度的卷积核均与LR图像卷积，分别得到特征图F₁、F₂、F₃，然后将特征图F₁、F₂、F₃送入连接融合算子完成融合后，再依次经过1×1和3×3的卷积处理，得到最终的浅层特征；

所述的特征提取模块得到的最终的浅层特征送入非线性映射模块的输入端；

所述非线性映射模块，由5个交叉融合模块CM级联而成，每个CM由3个双通道残差融合模块RDM级联而成，且RDM中融入了局部残差连接，非线性映射模块输入的是特征提取模块提取的浅层特征，即浅层特征是第一个CM的输入，非线性映射模块通过建立输入与输出之间的非线性映射关系，提取高频特征并借助稠密连接传送到重建模块；

所述RDM通过残差分支将两条并行支路融合，它将输入数据送到两路并行残差分支，上分支包含一个3×3卷积层和一个ReLU激活层，下分支包含一个5×5卷积层和一个ReLU激活层，两分支利用局部残差连接实现加权平均融合后通过连接融合将特征数据合并，实现多尺度上下文信息的融合互补；

所述的双通道残差融合模块RDM中的加权平均融合表示融合特征图，不改变通道数；

所述的双通道残差融合模块RDM中的连接融合表示“concat”，“concat”将特征图相加，通道数不改变；

所述重建模块包括依次连接的全局特征融合与图像恢复两部分；

所述的全局特征融合部分利用稠密连接将5个CM的输出连接成一个张量，通过连接融合得到非线性映射结果，即得到用于重建的全局特征；全局特征依次通过1×1和3×3卷积，得到融合后的一级特征；将一级特征和利用全局残差引入的特征提取模块中的3×3卷积得到的特征图进行加权平均融合，得到融合后的二级特征；将二级特征再依次通过5×5、3×3和3×3卷积，进一步提取高频特征信息得到融合后的三级特征；

所述的图像恢复部分将LR图像经过1×1卷积后，与全局特征融合部分得到的三级特征具有相同的特征维度，将两者加权平均融合得到待重建图像，再对待重建图像上的像素点进行周期性排列，之后再经过一个3×3卷积调节参数，实现HR图像的重建；

所述的图像恢复部分用外部残差连接将LR图像引入到HR图像重建的最后环节，利用LR图像与所重建的HR图像的相同信息，即两者的相似拓扑结构，增强像素点间的相关性；

所述的重建模块，用于对连接融合的高频特征进一步提取细节、纹理特征后，融合浅层特征和LR图像，完成高分辨率HR图像的重建。

2.一种基于权利要求1所述的单幅图像超分辨率的多尺度残差融合模型的复原系统的复原方法，其特征在于，按照以下步骤进行：

步骤S1、将LR图像输入到单幅图像超分辨率的多尺度残差融合模型的特征提取模块；

步骤S2、特征提取模块对LR图像进行特征提取，得到浅层特征；

步骤S3、将浅层特征送入非线性映射模块，经非线性映射模块提取出5层特征X_i,i＝1,…,5；

步骤S4、将5层特征X_i,i＝1,…,5送入重建模块，重建模块通过稠密连接将5层特征连接融合成一个张量，得到全局特征，对全局特征进行三级处理得到三级特征，利用三级特征实现HR图像的重建。