[发明专利]一种基于深度学习的图像超分辨率重建方法及装置

权利要求书

1.一种基于深度学习的图像超分辨率重建方法，包括如下步骤：

步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；

步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。

2.如权利要求1所述的一种基于深度学习的图像超分辨率重建方法，其特征在于，步骤S1进一步包括：

步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；

步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。

3.如权利要求2所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像提取低分辨率图像块，在对应的高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。

4.如权利要求3所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S100中，先选取高质量的高分辨率图像，然后对该高分辨率图像先下采样再上采样，得到与该高分辨率图像同样尺寸的低分辨率图像。

5.如权利要求2所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S101中，所述多尺度残差卷积神经网络的输入为与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块，所述多尺度残差卷积神经网络包括若干层，第1层和最后一层为卷积层，中间若干层为多尺度残差层，第1层的输出与最后一层的输出相加即为重构的高分辨率结果。

6.如权利要求5所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：所述多尺度残差卷积神经网络的中间若干层为具有相同结构的多尺度残差单元，每个多尺度残差单元包括两个多尺度卷积单元，中间为激活函数，每个多尺度卷积单元包括3个尺度的卷积网络，第一个尺度为核大小为1×1的卷积网络，第二个尺度为核大小为3×3的卷积网络，第三个尺度为3×3池化和3×3卷积网络，三个尺度的通道图通过级联方式组成特征图。

7.如权利要求6所述的一种基于深度学习的图像超分辨率重建方法，其特征在于，所述多尺度残差卷积神经网络采用如下损失函数进行训练学习：

其中，N为训练样本个数，Y_i为高分辨率图像块，为网络重建的图像块，||·||₁表示L1范数。

8.如权利要求7所述的一种基于深度学习的图像超分辨率重建方法，其特征在于:于步骤S101中，利用随机梯度下降法和网络的反向传播来最小化所述损失函数，对多尺度残差卷积神经网络的卷积核参数进行优化调整。

9.如权利要求1所述的一种基于深度学习的图像超分辨率重建方法，其特征在于:步骤S2进一步包括：

步骤S200，对输入的低分辨率图像进行预处理，以得到目标图像大小的低分辨率图像；

步骤S201，将所述低分辨率图像分割成待重构的低分辨率图像块；

步骤S202，利用训练好的多尺度残差卷积神经网络对各待重构的低分辨率图像块进行分辨率重构；

步骤S203，对获得的所有的重构的高分辨率图像块进行进行融合处理，得到输入图像的重构高分辨率图像。

10.一种基于深度学习的图像超分辨率重建装置，包括：

训练单元，用于构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；

重建单元，用于利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。