[发明专利]一种基于迭代神经网络的视频去模糊方法

说明书

本发明提供一种基于迭代神经网络的视频去模糊方法，包括构建视频去模糊模型；获取原始视频序列，并计算原始视频序列帧间的局部和全局相似性，且进一步对比建模时域信息；根据时域信息将模糊序列在特征空间中进行去模糊操作，得到去模糊特征；将去模糊操作后的特征从特征空间中恢复为清晰的图像序列；根据清晰的图像序列及目标视频序列，计算时域损失函数，反向传播训练网络。实施本发明，通过卷积神经网络和循环神经网络的耦合作用减少模型参数，并通过计算视频中全局与局部帧之间相似性用以建模时域信息，以及进一步通过时域损失函数让模型产生更连续清晰的图像序列，从而能够解决现有技术所存在的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于迭代神经网络的视频去模糊方法。

背景技术

随着计算机处理器的发展，简单的图像处理任务已经广泛的应用于实际场景中，而研究人员开始研究如何从视频中获取更多的信息以得到更好的效果。然而，由于拍摄过程中物体运动或相机晃动等原因，作为输入的视频往往含有一定程度的模糊影响，而这些模糊内容往往严重影响了视频的可应用价值，因此为了将获取到的视频更好的应用，视频去模糊等视频复原任务是必不可少的前提任务。

视频去模糊是一个经典的视频复原问题。最早被提出的视频去模糊算法是逆滤波(Inverse Filter)反卷积算法，例如Nathan采用二位逆滤波算法来进行还原处理。随着研究的不断深入，Donatelli等人将偏微分方程(Partial Differential Equation,PDE)理论应用于视频序列的恢复处理。此后，Fergus等人深入研究对比了运动模糊退化的视频图像以及原始清晰的视频图像各自的梯度分布，提出一种基于分布统计模型的盲运动去模糊算法。还有Takeda针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频序列进行去模糊处理。

随着深度学习浪潮兴起，2D及3D卷积操作被广泛应用于时域信息的获取，并通过卷积神经网络强大的学习能力学习模糊视频到清晰视频的映射。例如，在DBN算法中，通过将相邻帧放入卷积层来获取时域上的联系；又如，考虑到视频中帧与帧之间的关系本质上是三维数据，在DBLRGAN方法中将若干相邻数据进行对齐，并进一步使用3D卷积从中抽取更逼真的时域信息。

然而，上述方法在视频去模糊领域均取得了一定的成效，但它们大多依赖于庞大的卷积神经网络，导致视频去模糊模型难以应用到实际场景中。此外，上述方法往往注重于如何建模输入帧序列之间的时序联系，而忽视了生成的视频中帧与帧的连续性，导致恢复出来的视频出现一定的时域不连续性。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于迭代神经网络的视频去模糊方法，通过卷积神经网络和循环神经网络的耦合作用减少模型参数，并通过计算视频中全局与局部帧之间相似性用以建模时域信息，以及进一步通过时域损失函数让模型产生更连续清晰的图像序列，从而能够解决现有技术所存在的问题。

为了解决上述技术问题，本发明实施例提供了一种基于迭代神经网络的视频去模糊方法，包括以下步骤：

步骤S1、构建视频去模糊模型；其中，所述视频去模糊模型包括非局部时域模块、基于卷积神经网络和循环神经网络形成的迭代模块以及若干卷积层；

步骤S2、获取原始视频序列，并通过所述视频去模糊模型中的若干卷积层和非局部时域模块，计算所述原始视频序列帧间的局部相似性和全局相似性，且进一步对比所计算出的局部相似性与全局相似性，建模所述原始视频序列帧间的时域信息；

步骤S3、根据建模后的原始视频序列帧间的时域信息，利用所述视频去模糊模型中的迭代模块在特征空间中对所述原始视频序列的模糊帧进行去模糊操作，得到原始视频序列去模糊操作后的特征；

步骤S4、将所得到的原始视频序列去模糊操作后的特征从特征空间中恢复为清晰的图像序列；