[发明专利]基于级联残差卷积神经网络的图像超分辨率重建方法

权利要求书

1.一种基于级联残差卷积神经网络的图像超分辨率重建方法，其特征是，由结构相同的基本残差网络级联形成联残差卷积神经网络；基本残差网络包含全局残差通道和特征提取通道两个通道，对原始的高分辨率彩色图像进行下采样处理，得到相对应的低分辨率图像，再由低分辨率图像进行双三次插值上采样而得到的插值图像，所述插值图像送入基本残差网络的全局残差通道，用于生成残差图像，而低分辨率图像送入基本残差网络的特征提取通道，用于实现对低分辨率图像的特征信息提取；各级基本残差网络的重建结果图像都会被送入下一级基本残差网络的全局残差通道生成残差图像，从而最终实现不同级残差网络间的信息传递并形成最终输出；而对于各级基本残差网络的特征提取通道，其输入皆为相同的低分辨率图像。

2.如权利要求1所述的基于级联残差卷积神经网络的图像超分辨率重建方法，其特征是，基本残差网络中的特征提取通道通道FEC由四个部分组成，分别为浅层特征提取SFE、局部残差网络LRN、反卷积网络DN、重建网络RN，浅层特征提取SFE由两个核大小为3×3的Conv卷积层构成，每个卷积层包含有64个卷积核，即有64个通道；输入SFE的图像数据为预先切割好的低分辨率图像小块，基本残差网络的输入为I_LR，I_FE是由浅层特征提取SFE提取出的特征图像，则二者的关系表示为：

I_SFE＝f_SFE(I_LR)

上式中，f_SFE表示SFE中的两层卷积操作，I_SFE就是局部残差网络LRN的输入，LRN由4个残差密集块RDB组成，每个RDB包括6层卷积层Conv，此6个卷积层每层都包含有64个核大小为3X3的卷积核，每个卷积层后采用修正线性单元ReLU函数作为激活函数，同时每个RDB还包括一条局部残差支路用以实现网络的局部残差学习功能；

将第k个RDB的映射函数表示为f_rdbk，每个LRN包含的RDB的数量为4，那么LRN的输出I_LRN表示为：

I_LRN＝f_rdb4(f_rdb3(f_rdb2(f_rdb1(f_SFE))))

I_LRN通过反卷积网络DN中的反卷积层Deconv上采样至与高分辨率图像同样大小，该反卷积层一共包含有64个卷积核，用以实现图像从低分辨率尺寸到高分辨率尺寸的转化，即超分辨率重建过程，DN的输出是I_DN，反卷积操作是f_DN，那么DN的输入和输出之间的关系描述为：

I_DN＝f_DN(I_LRN)

DN的输出I_DN被输送至由1层Conv卷积层组成的重建网络RN，所述Conv卷积层包含有一个1×1大小的卷积核，特征图被融合成一幅与高分辨率图像相同大小的图像，该图像是由基本模型学习的全局残差图像，也是FEC的最终输出，RN中的映射为f_RN，RN的输出图像为I_RN，则I_RN表示为：

I_RN＝f_RN(I_DN)

级联残差网络重建而成的高分辨率图像I_HR表示为：。

I_HR＝I_RN+I_GRC。