[发明专利]一种基于多任务CNN的图像去模糊方法

权利要求书

1.一种基于多任务CNN的图像去模糊方法，其特征在于，包括以下步骤：

(1)获取总训练集、测试集、预处理；

(2)对图像进行多尺度缩放及参数设置；

(3)基于多任务卷积神经网络去模糊；所述多任务卷积神经网络包括三个尺度，每个尺度分为图像去模糊模块、图像细节恢复模块和特征融合模块三部分；

图像去模糊模块包含三个图像编码块E和三个图像解码块D，图像编码块E提取图像特征并进行编码，然后经过图像解码块D得到去模糊图像；

图像细节恢复模块只包含padding为SAME的标准卷积层和具有残差结构的卷积特征提取层，其中标准卷积层和具有残差结构的卷积层的卷积核大小均为5x5，只进行模糊图像高阶特征的提取和融合，输出与输入图像大小相同的512x512的特征图，为最终的图像恢复过程提供高频信息；

特征融合模块包含一个图像合并模块和一个卷积层，卷积核大小为5x5；

基于多任务卷积神经网络去模糊的过程具体如下：

首先将小尺度模糊图像B1作为多任务卷积神经网络的输入依次进行去模糊、细节恢复和特征融合得到小尺度清晰图像I1，对I1进行上采样与中尺度模糊图像B2堆叠作为多任务卷积神经网络的输入依次进行去模糊、细节恢复和特征融合得到中尺度清晰图像I2；对I2上采样和大尺度模糊图像B3堆叠作为多任务卷积神经网络的输入进行去模糊、细节恢复和特征融合得到大尺度清晰图像I3。

2.根据权利要求1所述一种基于多任务CNN的图像去模糊方法，其特征在于，步骤(1)中总训练集采用GOPRO数据集；包含3214对图像，其中2103对图像用于训练，1111对图像用于测试；为防止网络过拟合，使用数据增强的方法；在几何变换方面，将图像随机水平和垂直翻转90度；在色彩方面，将图像的RGB通道进行随机置换以得到不同的效果；为考虑图像劣化，将图像HSV色彩空间中的饱和度乘以[0.5,1.5]内的随机数；测试时，将GOPRO数据集的1111对用于测试的图像输入到多任务卷积神经网络中，得到去模糊结果。

3.根据权利要求1所述一种基于多任务CNN的图像去模糊方法，其特征在于，步骤(2)中在训练过程中每次输入16个批次的512*512大小的图像；具体包括以下步骤：

(201)首先将输入的模糊图像用下采样的方法分别进行1倍，2倍，4倍的缩小，分别得到512x512,256x256,128x128大小的图像然后分别作为多尺度卷积神经网络三个尺度的输入；

(202)首先将128x128的图像输入到第1尺度的卷积神经网络中，得到初始的去模糊结果，然后在后面分别将第i，i＝1,2尺度恢复的清晰图像经过上采样与第i+1尺度的模糊图像一起作为输入送入第i+1尺度的卷积神经网络中去，最终得到512*512的清晰图像作为输出。

4.根据权利要求1所述一种基于多任务CNN的图像去模糊方法，其特征在于，步骤(2)中，超参数设置为：迭代训练最大次数为1000，学习率为1e^-4，batch大小为16，网络参数初始化方式为Xavier方法，采用Adam优化算法。

5.根据权利要求1所述一种基于多任务CNN的图像去模糊方法，其特征在于，步骤(3)中，图像去模糊模块每个图像编码块E包含一个卷积层C和三个残差块R，其中卷积层C的卷积核大小为5x5，残差块由两个5x5卷积和一个ReLU激活函数组成，其中为保证输出的特征图不变，padding设置为1；三个图像编码块E1，E2，E3的卷积核特征数分别为32，64，128；每个图像解码块D同样包含一个卷积层C和三个残差块R，卷积核参数设置同编码块相同。

6.根据权利要求1所述一种基于多任务CNN的图像去模糊方法，其特征在于，步骤(3)中，图像细节恢复模块包含三个卷积层C和三个残差块R，为保证输出的特征图大小不变，padding设置为1，卷积核特征图数量为64。