[发明专利]一种基于自监督残差感知网络的数码变焦方法

说明书

本发明公开了一种基于自监督残差感知网络的数码变焦方法，首先，对SRRAW数据集进行预处理，获取残差图像；其次，使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为残差感知辅助网络的标记；然后，通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中；最后，通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。本发明提出的辅助任务模块和空间注意力改进模块对数码变焦任务都是有很大的提升，使变焦后的图像拥有更多的细节和边缘信息。

技术领域

本发明涉及计算机视觉、数字图像分析、深度学习、机器学习等技术领，具体涉及一种基于自监督残差感知网络的数码变焦方法。

背景技术

近年来，由新网络结构和大数据进步驱动的深度学习算法在许多人工智能系统中表现出惊人的高性能，例如图像识别和语义分割。深度学习在图像超分领域的应用也十分令人兴奋。在图像超分领域，由于获取成对训练数据(低分辨率图像和对应的高分辨率图像)是比较困难的，所以研究人员在前期的实验中假设超分辨率中的图像退化模型为双三次下采样或者高斯下采样，然后将高分辨率图像通过下采样获得对应的低分率图像作为神经网络的输入，高分辨率图像作为标记来训练神经网络。基于上述基本假设，研究人员在图像处理领域提出了很多模型来尝试解决这个问题。

Chao等人首次提出将深度网络应用在图像超分领域。他们提出了一个简单的三层神经网络SRCNN，取得了很棒的表现，不管是在重建效果还是在推断耗时等指标上。在这之后，很多神经网络的改进结构被应用到超分领域。例如Kim等人设计了VDSR，Ledig等人提出将残差块引入到网络结构中。随后，Lim等人提出了一种非常深和宽的网络EDSR，该网络通过叠加修改后的剩余块来实现。显著的性能增益表明表示深度在图像超分中起着关键的作用。其他最近的工作，如RDN，都是基于密集块并利用所有卷积层的所有层次特征。NLRG和RCAN通过在空间和通道维度上考虑特征相关性来提高性能。

然而随着研究的进一步深入，研究人员发现基于双三次和高斯下采样训练出来的模型，并不能简单的迁移到真实的环境(光学变焦)中。也就是说在超分领域表现很好的模型在光学变焦中并比一定就能取得很好的表现。这个发现在最近引起了研究人员的广泛关注，Chen等人提出了一个真实成像下的光学变焦数据集，City100，然后从相机镜头的角度研究图像超分，旨在缓解合成退化模型与真实成像系统的差异。Zhang等人提供了一个数据集SR-RAW，它包含原始RAW数据和对应的真实高分辨率图像，用于真实世界的光学变焦，并采用带有上下文双边丢失(CoBi)的SRResNet来训练SR-RAW数据集。此外，CVPR2019的第三届NTIRE挑战也集中在光学变焦的任务上。这个挑战基于RealSR数据集。这个数据集是在不同的室内和室外环境中获得的图像。但是这些工作主要的贡献都集中在提出了一个数据集，然后基于他们提出的数据集研究了光学变焦与传统超分的不同之处：“真实环境中的图像退化模型比假设的双三次或者高斯退化要复杂很多，导致了真实环境下的低分图像中存在很多噪声，使得低分与高分图像相比，丢失了很多重要的信息”，但是这些研究都没有为光学变焦提出一个有效的解决方案。

因此本专利的目的是基于超分辨率和光学变焦任务的差异，开发一种适用于光学变焦任务的深度模型。

发明内容

发明目的：本发明提出一种基于自监督残差感知网络的数码变焦方法，使变焦后的图像拥有更多的细节和边缘信息。

技术方案：本发明所述的一种基于自监督残差感知网络的数码变焦方法，包括以下步骤：

(1)对SRRAW数据集进行预处理，获取残差图像；

(2)使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为残差感知辅助网络的标记；

(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中；