[发明专利]一种单图像的超分与感知图像增强的联合任务学习方法

说明书

本发明公开了一种单图像的超分与感知图像增强的联合任务学习方法，针对实际场景中的实际需求，常常将超分与感知图像增强两种任务混合组合，从低分辨率的原始图像中获得高质量的高分辨率增强图像。本申请提出了一个名为Deep SR‑PIE的超分与感知图像增强任务联合学习框架，该框架包括多路径超分辨率网络(MSRnet)、细节互补网络(DCN)和混合类U‑net增强网络(FULENet)。MSRnet利用多路径学习策略来同时描述局部和全局信息，DCN利用双旁通共享卷积来采样和增强高频细节，FULENet寻求最佳融合颜色校正矩阵来学习颜色和色调映射。通过对四个数据集的定量和定性评价，可以得出我们的联合学习框架在大多数指标上优于比较方法的结论。通过本申请提出的方法，可以更加快速高效地得到高质量的高质量的高分辨率增强图像。

技术领域

本发明属于人工智能技术领域，涉及一种单图像的超分与感知图像增强的联合任务学习方法。

背景技术

图像超分和感知图像增强是计算机视觉和图像处理领域的主要研究课题。近年来，深度学习技术在各种计算机视觉任务中取得了可观的成绩，极大地促进了超分和感知图像增强的发展。为了解决超分任务，开发了基于传统卷积神经网络和生成对抗网络(GAN,Generative Adversarial Networks)等多种深度学习方法。针对感知图像增强任务，开发了一系列自动处理方法来处理颜色还原、图像清晰度、亮度和对比度等问题。对于联合问题，人们想当然地认为从原始低分图像生成增强感知图像需要依次执行超分与感知图像增强方法。然而，因为在级联进程中会传播错误，这种依次执行的做法是低效和不准确的。在联合方案下执行时，这两个任务产生的输出可以相互补充，从而产生更好的结果。目前针对此类联合任务，E.Schwartz,R.Giryes,and A.M.Bronstein,2018，“Deepisp:Towardlearning,an end-to-end image processing pipeline,”利用深度神经网络学习特定数码相机的色彩校正制图，在他们的工作之后，X.Xu,Y.Ma,and W.Sun,2019，“Towards realscene super-resolution with raw images,”设计了一种能同时利用原始数据和彩色图像实现超分辨率真实场景的双网络，可以很好地适用于不同的相机；同时，K.Mei,J.Li,J.Zhang,H.Wu,J.Li,and R.Huang,2019，“Higher resolution network for imagedemosaicing and enhancing采用两条并行路径学习不同分辨率下的图像特征。针对超分与感知图像增强的联合任务，目前这些方法只是把感知图像增强作为解决真实场景下的图像的超分问题时的辅助产品，大部分方法相较于颜色而言更加关注细节。

发明内容

本发明的目的在于提供一种单图像的超分与感知图像增强的联合任务学习方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种单图像的超分与感知图像增强的联合任务学习方法，其特征在于，该深度学习框架包含以下三个模块：

模块1)多路径超分辨率网络(MSRnet)，为了增加特征图的多样性，我们考虑了不同的下采样尺度，以提供更好的建模能力；

模块2)细节补充网络(DCN)，将细节部分从原始低分图像中提取出之后，通过我们提出的上采样网络来捕捉高频细节；

模块3)混合类U-net增强网络(FULENet)，提出一个类似于U-net的网络来生成融合的颜色校正矩阵来校正MSRnet和DCN的结果，使恢复的图像在局部和整体上具有良好的空间一致性。

进一步的，该深度学习网络首先对输入图像进行预处理，采用一种高效的引导滤波器来保存边缘和纹理，更好地保存图像的高频信息，包含以下步骤：

I_b＝low_filter(I) (1)