[发明专利]一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法

权利要求书

1.一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：包括以下步骤：

图像预处理：

S1：将训练集中的高分辨率图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为Y_H；

S2：将Y_H图像分别按照不同缩放尺度的因子进行下采样，得到不同模糊程度的低分辨率图像；

S3：将低分辨率图像不重叠裁剪出子图像块，并进行对应尺度因子的简单上采样，再将Y_H不重叠裁剪成相对应的子图像块作为标签；

S4：相对应的子图像块对，作为卷积神经网络输入层的数据；

图像特征提取：

S1：输入的图像通过第一层卷积层，再进入MSB1模块；

S2：进入MSB1模块后，采用含有不同大小卷积核的卷积层分别进行特征提取，再采用密集连接的方式进行特征重复学习，各分支的特征进行融合，输出特征图Feature_MSB1；

S3：将特征图Feature_MSB1输入到MSB2模块中，重复S2中学习步骤，将得到的特征图记为Feature_MSB2，再将其输入到下一个MSB模块中；

S4：当特征图从最后一个MSB模块中输出时，将之前学习得到的所有特征图进行融合得到特征图Feature_Sum；

S5：将Feature_Sum通过卷积层进行降维，得到维度为1的残差特征图re；

图像重建：

S1：在其中一个MSB模块后设计监督层，用监督层的输出修正模型的重建误差，

S2：利用输入的低分辨率图像与模型之前学到的残差特征图re进行特征融合，重建出最终的高分辨率图像。

2.如权利要求1所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像预处理步骤中，

S1：将训练集中的高分辨率RGB图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为Y_H；

S2：将Y_H图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为Y_L2、Y_L3、Y_L4；

S3：将Y_L2、Y_L3、Y_L4不重叠裁剪为41×41大小的子图像块，分别记为Y_L2-sub、Y_L3-sub、Y_L4-sub；将Y_L2-sub、Y_L3-sub、Y_L4-sub进行对应尺度因子的简单上采样，得到的结果记为Y_IL2-sub、Y_IL3-sub、Y_IL4-sub，再将Y_H不重叠裁剪成与Y_IL2-sub、Y_IL3-sub、Y_IL4-sub相对应的子图像块作为标签，分别记为Y_H2-sub、Y_H3-sub、Y_H4-sub；

S4：按照Y_IL2-sub-Y_H2-sub、Y_IL3-sub-Y_H3-sub、Y_IL4-sub-Y_H4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。

3.如权利要求1所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像特征提取步骤中，模型中，除了监督层和最后一层卷积层以外，其余每一层卷积层后都有一个整流线性单元作为激活函数，所有的MSB模块网络结构采用卷积神经网络结构。