[发明专利]一种基于参考图像的深度特征排序去模糊方法

说明书

本发明公开了一种基于参考图像的深度特征排序去模糊方法。现有去模糊方法只应用于模糊图像，难以恢复结构及细节信息，本发明引入参考图像，利用参考图像中清晰的结构信息和丰富的细节信息辅助于去模糊过程得到潜在清晰图像。首先，将模糊图像和参考图像转变为对应特征空间的特征图，并计算参考图像特征中每一个元素与模糊图像特征的相关性；然后，该相关性特征图分别通过浅层神经网络与最大池化，对相关性特征图排序，其中，排序在前的特征图表示参考图像与模糊图像相关性强，反之亦然；最后，将排序后的特征图选取固定数量的特征图用于特征重建并将特征空间的特征图转化为图像空间的图像，得到潜在清晰图像。

技术领域

本发明属于低水平视觉图像处理领域，尤其涉及一种基于参考图像的深度特征排序去模糊方法。

背景技术

随着智能设备(如：智能手机、监控设备等等)的普及和物联网的兴起，图像的获取方式愈发方便，而图像作为日常生活中重要的信息媒介，在成像设备获取图像过程中会受到各种干扰因素的影响，例如相机的抖动、图像中运动的物体、夜间灯光的作用以及各种复合因素形成的模糊图像，该模糊图像对人们的日常生活产生不利影响，因此，恢复潜在清晰边缘结构和丰富真实细节的图像是亟待解决的问题。

根据模糊的类型可以将模糊分为均匀模糊和非均匀模糊。日常生活中我们拍摄的模糊图像多为非均匀模糊，即模糊图像中模糊核不一致。将该图像模糊过程表示为：

B＝k*I+n

其中B表示模糊图像，k表示模糊核或点扩散函数，I表示潜在清晰图像，*表示卷积操作，n表示噪声。

研究者对该经典的复原问题做了大量的研究，并取得了显著成果。根据模糊核是否已知，可以将图像去模糊分为两种：非盲图像去模糊和盲图像去模糊。非盲图像去模糊是先通过某种技术得到模糊核，然后基于该模糊核反卷积得到潜在清晰图像。盲图像去模糊指模糊核未知的情况下，仅利用模糊图像得到潜在清晰图像与模糊核。早期对该问题的研究主要对潜在清晰图像和模糊核施加先验知识，并基于最大后验复原潜在清晰图像，该先验知识包括全变分、暗通道先验、L0范式梯度等等；随着深度学习的快速发展，基于深度神经网络以端到端的方式复原潜在清晰图像，并取得了最先进的去模糊视觉效果。

发明内容

本发明提出了一种基于参考图像的模糊图像复原方法广泛应用于低水平视觉任务中，例如超分辨率，借助参考图像的清晰结构信息辅助模糊图像的复原。然而，现有的基于参考图像的复原方法不能直接应用于图像去模糊，即模糊图像形成过程与其他低水平视觉图像的形成过程不同。基于此，需要设计一种新的基于参考图像的图像去模糊方法。

技术方案：

一种基于参考图像的深度特征排序去模糊方法，特征是，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。

附图说明

图1是实施例提供的基于参考图像的深度特征排序去模糊方法流程图。

图2实施例生成器网络结构示意图。

具体实施方式

本发明提出了一种基于参考图像的深度特征排序去模糊方法，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步信息说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。