[发明专利]一种基于双边上采样网络的任意倍数图像超分辨率重建方法

权利要求书

1.一种基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：输入待处理的低分辨率图像和放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；

步骤2：使用步骤1中输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重；

步骤3：使用步骤1中输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重；

步骤4：使用步骤3中提取的低分辨率特征图作为值域权重和步骤2中位置图预测得到的空域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数；

步骤5：使用步骤4计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图；

步骤6：将步骤5得到的超分辨率特征图的通道数转换到输入图像的通道大小，输出重建的超分辨率图像。

2.根据权利要求1所述的基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于：所述步骤2：使用步骤1中输入的放大倍数通过位置图构造模块构造位置图，然后使用空域权重预测模块预测双边上采样卷积核的空域权重，具体实现如下：

(1)将高分辨率图像的每个像素映射到低分辨率图像空间，然后得到每个高分辨率像素在低分辨率图像空间中所对应的2×2邻域像素，超分辨率图像上每个位置的像素值就由低分辨率图像上的2×2邻域像素值和超分辨率像素与低分辨率像素之间的位置关系决定；

(2)根据超分辨率图像坐标和放大倍数构造位置图，

其中P为构造的位置图，r为放大倍数，(i,j)为位置图对应的超分辨率像素坐标，P_h，i，j为坐标(i,j)像素所对应位置图上的第h个通道的值；h＝1时，P_h，i，j就是P_1，i，j，h＝2同理；

(3)构造得到位置图之后，采用全连接层+ReLU层+全连接层结构作为空域权重预测模块，隐藏层特征通道数设为256，利用构造的位置图自适应预测双边上采样卷积核的空域权重。

3.根据权利要求1所述的基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于：所述步骤3：使用步骤1输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征作为双边上采样卷积核的值域权重，具体实现如下：

(1)使用步骤1输入的低分辨率图像通过卷积神经网络特征提取模块提取低分辨率图像特征；

F^LR＝Conv(x^LR)

其中x^LR为步骤1输入的低分辨率图像，Conv(.)为卷积神经网络特征提取模块，F^LR为提取的低分辨率图像特征；

(2)使用提取的低分辨率图像特征作为双边上采样卷积核的值域权重，用于后续双边上采样卷积核构造。

4.根据权利要求1所述的基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于：所述步骤4中，使用步骤3中提取的低分辨率特征图作为值域权重和步骤2中位置图预测得到的空域权重，通过双边上采样参数计算模块，计算双边上采卷积核参数，具体实现如下：

(1)使用双边上采样参数计算模块合并步骤2中得到的空域权重和步骤3中得到的值域权重计算双边上采样参数，

其中：(i，j)为高分辨率像素坐标，(i′，j′)为映射到低分辨率图像中的最近邻像素坐标，k为上采样卷积核大小，(k₁，k₂)为上采样卷积核坐标，c为特征图通道数，W^P为预测的空域权重，w^p为使用空域权重构造的k×k大小空域上采样卷积核，F^LR为低分辨率特征图，w^B为计算得到的双边上采样参数；

(2)使用计算得到的双边上采样参数作为双边上采样卷积核权重，用于双边上采样卷积操作。

5.根据权利要求1所述的基于双边上采样网络的任意倍数图像超分辨率重建方法，其特征在于：所述步骤5中，使用步骤4计算得到的双边上采样卷积核参数对低分辨率特征图进行上采样处理，得到超分辨率特征图，具体实现如下：

(1)使用步骤4预测得到的双边上采样参数构造双边上采样卷积核其中w^B为步骤4计算得到的双边上采样参数，c为特征图通道数，(i，j)为像素坐标，(k₁，k₂)为卷积核坐标；

(2)使用双边上采样卷积核对低分辨率特征图进行逐通道上采样卷积操作，得到超分辨率特征图，

其中F^SR表示超分辨率特征图，w^B为计算得到的双边上采样卷积参数，F^LR为低分辨率特征图。