[发明专利]一种基于多任务CNN的图像去模糊方法

说明书

本发明公开一种基于多任务CNN的图像去模糊方法，包括以下步骤：(1)获取总训练集、测试集、预处理；(2)对图像进行多尺度缩放及参数设置；(3)基于多任务卷积神经网络去模糊；多任务卷积神经网络包括三个尺度，每个尺度分为图像去模糊模块、图像细节恢复模块和特征融合模块；图像去模糊模块包含图像编码块E和图像解码块D，图像编码块E提取图像特征并进行编码，然后经过图像解码块D得到去模糊图像；图像细节恢复模块只包含具有残差结构的卷积特征提取层，网络特征图大小与输入大小保持相同，只进行模糊图像高阶特征的提取和融合，为最终的图像恢复过程提供高频信息；特征融合模块包含一个图像合并模块和一个卷积层。

技术领域

本发明属于计算机图像处理的领域，多用于图像或者视频去模糊等相关领域，具体涉及 一种基于多任务CNN的图像去模糊方法。

背景技术

图像采集过程中，由于曝光时间内，摄像器材抖动或拍摄场景的快速运动，再加上大气 光线的影响，造成图像质量退化。图像质量的退化会严重影响图像的后续处理，比如图像比 对、特征提取、图像识别等。因具有前沿性、应用广等特点，图像去模糊一直是计算机视觉、 图像处理领域的热点。

现有的图像去模糊方法可分为传统方法和基于深度学习的方法。传统方法可分为基于贝 叶斯框架去模糊算法^[1]，变分方法，基于稀疏表示^[2]的方法。基于贝叶斯框架去模糊算法提供 了未观测变量的后验概率的分析近似，以推导出这些变量的统计特性。变分方法将不适定的 问题转换为适当的问题，其特征在于探索额外的约束以减小未知变量的解空间的大小。基于 稀疏表示的方法将参考图像用作正则化器，使得可以从对应的锐利信息恢复模糊信息。尽管 这些方法在去模糊方面取得很大的进展，但是在盲图像去模糊的情况下，由于应用场景的复 杂性，模糊核往往难以获得并且在空域上是不断变化的，因此很难将模糊的过程进行参数化。 目前，基于深度学习去模糊方法在恢复模糊图像的过程中不用估计模糊核而被广泛应用。如 SRN-DeblurNet^[7]，DeblurGAN^[8]等，其大多基于卷积神经网络(CNN)学习模糊图像到清晰图 像之间的映射关系，得到较好的去模糊效果。但是目前大多利用卷积神经网络恢复图像，没 有考虑图像细节信息的恢复，导致图像去模糊后细节纹理丢失。另一方面，单任务的网络模 型的泛化能力不够，自适应性不足，很难实现多类型多场景的图像去模糊任务。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于多任务CNN的图像去模糊方 法，本发明在多尺度结构中采用由粗到细的策略，在每个尺度上对图像进行去模糊，同时上 一尺度图像去模糊的结果经过上采样作为下一尺度的输入。另外，本发明在每一尺度上增加 了细节恢复子任务，可进一步增强去模糊网络对图像细节方面的恢复。

本发明的目的是通过以下技术方案实现的：

权利要求确定后此处完善

与现有技术相比，本发明的技术方案所带来的有益效果是：

在多尺度卷积神经网络^[6]的基础上增加细节恢复任务，在每一尺度上恢复模糊图像的同 时增加细节恢复模块(如图1所示)提取图像的细节特征并与恢复的清晰图像进行融合，进一 步增强原有网络对图像细节方面的恢复。

附图说明

图1为多任务卷积神经网络结构示意图。

图2为图像去模糊模块的结构示意图。

图3为细节恢复模块的结构示意图。

表1几种算法复原结果客观指标对比

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。