[发明专利]一种基于深度学习迭代上下采样的图像超分辨率重建方法

权利要求书

1.一种基于深度学习迭代上下采样的图像超分辨率重建方法，其特征在于，所述重建方法包括：

步骤1：采集原始高分辨率图像；

步骤2：在特定尺度因子上，利用双三次插值将所述原始高分辨率图像下采样到低分辨率图像，特定尺度因子是指2、3、4整数放大倍数；

步骤3：将低分辨率图像输入到构建的神经网络以重建预测高分辨率图像，所述神经网络包括依次运行的提取低分辨率特征的卷积层、多个反向投影层和重构卷积层，重建方法的具体步骤包括：

步骤31：提取低分辨率图像特征，将所述低分辨率图像经过一个3*3的卷积层进行特征提取，将提取的特征输入到一个1*1的卷积层来实现对提取特征的降维，得到低分辨率特征图并输出到反向投影层；

步骤32：提取高分辨率图像特征，反向投影层中高分辨率图像和低分辨率图像的关系通过创建可迭代的上-下采样模块来构建，反向投影层包括上采样模块和下采样模块，所述上采样模块对所述低分辨率特征图进行上采样生成高分辨率特征图，所述下采样模块将所述上采样模块生成的所述高分辨率特征图映射到低分辨率空间，生成低分辨率特征图，每个上采样模块和下采样模块得到的残差值输入到相邻的上采样模块和下采样模块，将每个上采样模块生成的高分辨率特征图拼接到一起送到重构卷积层；

所述重建方法还包括自校正模型，所述自校正模型的方法包括：

将在网络浅层中提取得到的低分辨率图像特征，经过上采样模块得到一个中间预测特征和一个中间特征与输入特征之间的残差值；中间特征经过反卷积得到一个高分辨率图像特征HR Patch k，上投影残差值则被传到下一个下采样模块中，在下采样模块中经过同样的操作得到的下投影残差值，以此类推，将所有上投影模块中得到的所有高分辨率图像特征图拼接在一起，经过重构卷积层得到最终的预测高分辨率图像；

所述方法还包括稠密连接模块，稠密连接模块是将上采样模块输出的高维中间特征，直接跳跃连接到后续的每一个下采样模块中进行下采样操作，将下采样模块输出的低维特征，直接跳跃连接到后续的每一个上采样模块中进行上采样操作；

步骤33：超分辨率图像重构，将步骤32拼接后的高分辨率图像特征图通过一个3*3的重构卷积层以生成大小与原始高分辨率图像一致的图像，即得到重建出的预测高分辨率图像；

步骤4：将所述预测高分辨率图像和原始高分辨率图像进行比较，计算得到损失值；

步骤5：当损失值收敛前，更新神经网络的参数，重复步骤3至步骤5；

步骤6：当损失值收敛时，表明超分辨率重建工作完成，结束训练。

2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述方法还包括：

上采样模块将低分辨率特征图L^t-1先进行反卷积得到高分辨率特征图再将所述高分辨率特征图进行空洞卷积得到一个低分辨率特征图接着将所述低分辨率特征图和低分辨率特征图L^t-1进行残差运算，把得到的残差值e_t进行反卷积生成高分辨率特征图将高分辨率特征图和高分辨率特征图相加得到最终的高分辨率特征图H^t。

3.如权利要求2所述的图像超分辨率重建方法，其特征在于，所述方法还包括：

下采样模块将高分辨率特征图H^t先进行空洞卷积得到低分辨率特征图再将低分辨率特征图进行反卷积得到一个高分辨率特征图接着将所述高分辨率特征图和高分辨率特征图H^t进行残差运算，把得到的残差值e_t进行空洞卷积生成低分辨率特征图将低分辨率特征图和低分辨率特征图相加得到最终的低分辨率特征图L^t。