[发明专利]基于深度学习的图像去失焦模糊方法

说明书

本发明属于数字图像智能处理技术领域，具体为一种基于深度学习的图像去失焦模糊方法。本发明方法包括：通过拍摄或添加随机模糊等方式构建去失焦模糊数据集，使得每组数据包含一张清晰的图像作为原图，以及若干张模糊的图像作为清晰图所对应的模糊图；训练去失焦模糊深度神经网络；使用非对齐损失函数通过深度神经网络从图像中恢复处于焦平面外的模糊物体；在真实场景下拍摄非像素级对齐的去模糊数据集，通过非对齐损失函数训练深度神经网络。实验结果表明，本发明可以对真实场景中拍摄的失焦模糊图进行有效的恢复，提出的数据集能够通过非对齐损失函数有效地训练去失焦模糊网络。本发明可以用于相机变焦、机器人视觉系统等。

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像去模糊方法，更具体地，涉及一种基于深度学习的图像去失焦模糊方法。

背景技术

近年来，随着深度学习的快速发展，盲图像去模糊(Blind image deblurring)取得了一定的进展：Orest等人提出了一个端到端的去运动模糊算法^[1]，取得了当时最高的客观质量评价(PSNR与SSIM)得分，以及不错的视觉效果。该文章是首次使用GAN loss与content loss相加的方式来设计去运动模糊的损失函数，并进行了对照实验证明了该损失函数的有效性；随后Orest等人又对该方法进行了改进^[3]，引入了特征金字塔(FeaturePyramid Network)作为生成器(generator)。使得原方法的速度和效果都有了更进一步的提升；Tao等人^[2]提出了一个具有循环结构的深层网络，采用从粗糙到精细的思想(coarse-to-fine)实现了去运动模糊。

这些去运动模糊的方法尽管能够比较好的预测运动模糊的模糊核，但却很难对失焦模糊起到效果。这是因为失焦模糊不同于运动模糊，其模糊核取决于每个像素点所对应的景深，模糊核在空间上存在变化。而运动模糊的模糊核则是由相机与场景之间的相对运动决定的，通常可以由一条运动曲线来表征。目前已有的去失焦模糊方法均为传统算法，并且难以取得令人满意的效果。Xu等人提出了基于单张图的去失焦模糊算法^[5]，该算法使用模糊图预测算法^[4]对图像中不同程度的模糊部分进行分层，随后逐层对失焦部分进行还原，该算法依赖于模糊图预测算法的准确性，并且容易在边界处产生伪纹理。

因此，本发明采用深度学习技术，训练了一个深度神经网络实现图像去失焦模糊。深度学习技术是目前计算机视觉中的研究热点，它在传统神经网络的基础上强调了模型结构的深度，通常至少有5-10层，甚至数十层的隐层节点。通过逐层特征变换，将原空间的特征变换到一个新的特征空间，从而使分类或预测更容易。

由于训练一个深度神经网络需要大量的数据支持，本发明拍摄了一个用于图像去失焦模糊的真实场景数据集。而由于相机对焦会改变相机的像距或焦距，清晰图像与失焦模糊图像之间并非像素级对齐关系，如果使用像素级对齐的损失函数，如L1、MSE损失函数，会导致去失焦模糊后的图片边界、轮廓不清。因此本发明使用一个非对齐损失函数来进行训练。该损失函数借用感知损失的思想，先从预训练的VGG-16模型中提取了高层的特征，随后逐个将最相近的特征进行匹配，并加以L2约束进行正则化，从而对深度神经网络进行有效地训练。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于深度学习的图像去失焦模糊方法。

本发明提供的基于深度学习的图像去失焦模糊方法，主要针对图像中存在处于焦平面外的模糊物体的情况，构造深度神经网络，将图像中出现失焦模糊的部分进行还原。同时提出了一个用于图像去失焦模糊的数据集，并通过非对齐损失函数训练该深度神经网络。

本发明提供的基于深度学习的图像去失焦模糊方法，具体步骤如下。

(一)建立去失焦模糊数据集