[发明专利]一种基于图像质量评价的图像去模糊方法

说明书

本发明属于数字图像智能处理技术领域，具体为一种基于图像质量评价的图像去模糊方法。图像去模糊算法用于恢复图像质量，使得图像边缘尽可能锐利。本发明方法包括以下步骤：构建、预训练针对去模糊图像的质量评价网络；构建去模糊网络，并和质量评价网络级联；在图像质量评价任务的驱动下，训练去模糊网络；模糊图像通过质量评价指导的去模糊网络处理后得到去模糊结果。实验结果表明，本发明能够使去模糊结果获得更锐利的边缘以及更高的主观质量。

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像去模糊修复方法，更具体的说，涉及一种基于图像质量评价的图像去模糊方法。

背景技术

随着移动设备的普及，拍照已经成了日常生活中最为常见的一种行为。但是，拍照极其容易受外在因素的影响，其中最为常见的一种就是运动模糊。导致运动模糊的两个主要原因是：物体的快速运动以及相机的抖动。

B＝K*S+n

其中B表示模糊图片，K表示模糊核，S表示清晰图片，*表示卷积，n表示高斯噪声。运动模糊一般分为均匀模糊(uniform blur)和非均匀模糊(non-uniform blur)，均匀模糊意味着对于整张图片，K都是不变的。非均匀模糊意味着，图片中的每个像素，K都是不同的。

近年来，基于深度学习的方法，以端到端的方式，输入模糊图片，直接输出去模糊图片。其中比较成功的就是multi-scale算法，[2]在将multi-scale的思想应用到了deblur领域。因为在deblur领域有着一个特性：对于一个N x N的图片，它的模糊核大小为k x k,如果把它缩小2倍，那么图片变成N/2x N/2，模糊核也会变成k/2x k/2，处理小的模糊核要比处理大的模糊核简单的多。基于这个假说，[2]将图像以2倍,4倍缩小，然后将去模糊后的缩小图片传递给后续网络继续处理。但是对于每个尺度的图像，都是使用不同的参数进行训练，这样一个很大的缺点就是三个尺度的网络需要三倍的网络参数，网络太深难以训练。[3] 改进了这一点，将三个尺度的网络参数共享，这样做一方面大大减少了参数量，另一方面三个尺度的训练都能对网络进行更新。[4]继续进行改进，根据模糊的性质，选择部分参数共享，部分参数不共享。

因为模糊是位移的平均，所以直接的PSNR评价去模糊结果就会出现误差。因为PSNR更偏向于平滑的图片，不能衡量图片的锐利程度。并且，对于去模糊的结果，如果去模糊后的图片变得锐利，但是位置恢复的不好；相比于图片不锐利但是位置恢复的好，是更受人眼青睐的，PSNR并不能解决这个问题。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于图像质量评价的图像去模糊方法，它主要利用图像质量评价的结果，去指导去模糊网络的收敛，从而使去模糊的结果不仅有不错的客观质量(PSNR),也有很好的主观质量。

本发明提供的基于图像质量评价的图像去模糊方法，具体步骤如下。

(1)构建、预训练针对去模糊图像的质量评价网络

搭建针对去模糊图像的质量评价网络。本发明提出了第一个基于深度学习的针对去模糊图像的质量评价网络。根据图像模糊的性质，模糊的边缘在缩放后会变得锐利。因为去模糊图像中残余着未被去除的模糊，因此本发明考虑了多尺度的去模糊图像。利用卷积网络抽取不同尺度的图像的特征，然后使用一个全连接层去拟合主观分数。图像质量评价网络的特性：考虑模糊的多尺度性质，利用图像金字塔构建图像质量评价网络。

用[1]数据集训练质量评价网络，其中，是去模糊图像，作为质量评价网络的输入，score_i是去模糊图像的质量分数，作为训练过程的标签。但是，该数据集数目有限，并且图像尺度不同。因此将去模糊图像切patch，用整体图像的标签score作为patch的score。针对数据量有限的图像质量评价任务，可以按照此方法构建图像质量评价任务的数据集。

(2)构建去模糊网络，并和质量评价网络级联