[发明专利]一种单图像的超分与感知图像增强的联合任务学习方法

权利要求书

1.一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，该深度学习框架包含以下三个模块：

(1)多路径超分辨率网络(MSRnet)，为了增加特征图的多样性，我们考虑了不同的下采样尺度，以提供更好的建模能力；

(2)细节补充网络(DCN)，将细节部分从原始低分辨率图像中提取出之后，通过我们提出的上采样网络来捕捉高频细节；

(3)混合类U-net增强网络(FULENet)，提出一个类似于U-net的网络来生成融合的颜色校正矩阵来校正MSRnet和DCN的结果，使恢复的图像在局部和整体上具有良好的空间一致性。

2.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，首先对输入图像进行预处理，采用一种高效的引导滤波器来保存边缘和纹理，更好地保存图像的高频信息，包含以下步骤：

I_b＝low_filter(I) (1)

步骤1)如式(1)所示，其中low_filter表示引导滤波器，以原图作为引导图，对原始输入图像进行滤波处理，得到基础信息层图像I_b；

步骤2)如式(2)所示，其中表示逐元素除法运算，对原始输入图像与基础信息层图像I_b进行逐元素除法运算，得到细节信息层图像I_d。

I_d图像较好的保留了边缘与纹理，我们将原图I与I_d叠加的结果图像I_i+d作为模型的一个输入。

3.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，在MSRnet中，设计大小两个编解码残差网络与局部残差网络三个部分。在大编解码残差网络的解码阶段与小编解码残差网络的编码阶段建立一个跳跃连接，来防止梯度传播中出现梯度消失。

4.根据权利要求3所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，在编解码残差网络组利用残差密集块提取深度特征。用以下三种改进方法来提高残差块的性能：

(1)删除批量标准化层；

(2)将PReLu层替换为RRelu层；

(3)删除通道注意力模块。

5.根据权利要求3所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，在局部残差网络中，对不同内核大小的轻量多尺度残差块进行叠加，提取特征。

6.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，通过细节补充网络(DCN)解决固定内核大小限制的问题，使用多种尺度，并互相交换信息，以补充更多细节。

7.根据权利要求1所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，混合类U-net增强网络(FULENet)被设计用来纠正输入图像与输出图像之间失去的感知，合并了两种不同的全局结构来获取高级信息，使改进后的网络对全局特征变化更加敏感。

8.根据权利要求7所述的一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，FULENet的设计：对于一个大小为W×H×3的输入图像，在编码阶段，通过一系列卷积操作降采样至之后通过两种策略处理该特征图：第一种，将上述特征图降采样至再通过RRelu激活层与全连接层降至1×1×64，之后1×1×64的特征图在复制份；第二种，对大小为的特征图进行平均池化，得到大小为1×1×64的特征图，然后将其复制次。在解码阶段，将上述两份按照不同策略复制的特征图合并为并将的特征图与编码器部分呈现的相同大小的特征图进行拼接，得到一幅同时捕获局部和全局特征的大小为的特征图。从MSRnet到FULENet的一个跳跃连接与多路径超分网络的输出串联，被馈入一个反卷积层和另一个卷积层。通过之后的调整大小和上采样操作，得到大小为2W×2H×3×3×3的特征，记为