[发明专利]一种基于神经网络的通用图像复原方法

说明书

本发明公开了一种基于神经网络的通用图像复原方法，该方法不需要失真类型的先验信息，自动判别失真类型(噪声、低分辨率以及缺失等)和失真程度，然后进行相应的复原处理，适用于存在未知混合失真图像的复原；本发明依据失真检测模块识别出图像待处理的失真类型及其失真程度，克服了现有方法假定失真情况已知的缺点；本发明的通用图像复原网络可以处理多种失真类型，本发明的通用图像复原网络具有可扩展性，且随着技术的发展，针对各类失真的复原子模块可更新，现有的几种针对混合失真的网络，有的是可扩展性差，有的是性能差，且这些方法都假定失真类型和失真程度已知。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于神经网络的通用图像复原方法。

背景技术

美国哈佛商学院有关研究人员的分析资料表明，在人类所感知的环境信息中，视觉信息占60％。随着智能手机和监控安防设备的普及，图像成为获取视觉信息的主要载体形式，同时也是保证用户体验诉求最高的业务。

图像在成像、压缩、传输、记录、显示的过程中，由于设备的带宽和物理特性的限制，必然会发生信息丢失和外来伪像的引入而造成某些退化，如成像过程中存在多种环境噪声，成像系统本身的不稳定性和与环境的相对运动等；压缩编码过程中可能会出现块效应和伪像；传输介质对信号的影响等。图像的失真不仅导致观看体验差，而且会造成信息丢失。

当前的图像复原算法大多是针对某一类具体失真问题，例如去噪、去模糊、超分辨率重建等，实际情况中，图像大多同时经历多种不同程度的失真，采用单一的图像复原算法不能有效的提高图像的质量。

2016年Xiaojiao Mao等人在《Image Restoration Using Very DeepConvolutional Encoder Decoder Networks with Symmetric Skip Connections》一文中针对图像去噪、去模糊、修复以及超分辨率重建四类问题提出深度完全卷积编码解码网络，但是该网络不是同时处理四类失真，而是针对每一类失真，需要单独训练网络，在实际使用时，需要预先知道图像中是四类失真中的哪一种。

2017年Dmitry Ulyanov等人在《Deepimage Prior》一文中提出一种基于自编码器网络的图像复原方法，该方法认为图像的统计学信息是卷积的图像产生的而不是通过网络学习得到的，因此免去了预训练图像的过程，同样，该方法需要预先知道图像中是哪一类失真，然后设置相应的损失函数来实现图像去噪、超分辨率重建或者图像修复。

2018年Yulun Zhang等人在《Residual Dense Network for Image Restoration》一文中提出新型残差密集网络，该网络通过残差密集块提取局部特征，同时需要预知图像的失真类型来调整网络的细节，以实现相应的图像超分辨率重建、图像去噪或者图像去块。

2018年Ke Yu等人在《Crafting a Toolchain for Image Restoration by DeepReinforcement Learning》提出基于深度强化学习的图像复原算法，解决同时含有高斯噪声、模糊以及JEPG压缩块的混合失真图像的复原问题。

2019年Orest Kupyn等人在《DeblurGAN-v2:Deblurring(Orders-of-Magnitude)Faster and Better》一文中提出一个端到端的单运动去模糊对抗网络，在已知某一类失真类型的条件下分别实现了图像去模糊、去噪声和去伪像三类复原任务。

2019年Masanori Suganuma等人在《Attention-based Adaptive Selection ofOperations for Image Restoration in the Presence of Unknown CombinedDistortion》中针对存在混合失真(高斯噪声、模糊和JEPG伪像)的图像提出一个复原神经网络，并行执行多个操作，并通过注意力机制加权，以根据输入图像的特征来选择合适的操作。