[发明专利]一种运动视频去模糊的方法

说明书

本发明提供一种运动视频去模糊的方法，包括构建视频去模糊模型；获取原视频序列，利用视频去模糊中的DSMAP‑GAN网络对输入的模糊视频图像帧进行预处理，得到一个初步去模糊处理的视频图像帧；将已得到的视频图像帧输入到光流估计模块进行光流估计，再通过时间锐度先验模块得到时间锐度先验信息，最后将上述内容输入到图像隐藏帧恢复网络模块中进行处理，最终输出清晰的视频图像帧，并将其合成流畅的清晰视频。从而能解决现有技术所存在的问题。

技术领域

本发明涉及视频图像处理技术领域，主要涉及一种运动视频去模糊的方法。

背景技术

随着移动互联网的快速发展，海量的视频数据随之产生。当代人们获取的大部分信息都是通过人眼视觉系统所得到的，而图像和视频作为主要的视觉信息，逐渐成为了人们日常生活中必不可少的组成部分。

然而，在视频的实际拍摄过程中，由于所拍摄目标的运动以及拍摄设备不可避免的抖动，都会使得所拍摄的视频存在一定的模糊。与此同时，在视频的传输存储过程中，视频图像的格式改变以及存储介质的性质改变都可能引起视频图像失真模糊。这时，视频质量的改变将会在安防领域、自动驾驶系统、医学影像分析、遥感图像等领域内产生严重影响。因此，为了获取到质量更好的视频图像并将其应用到更充分的应用领域内，视频去模糊是必不可少的前期工作。

对于运动视频去模糊是计算机视觉中的基本问题，模糊视频处理主要分为三大类：（1）视频图像的非盲运动去模糊，最早提出的去模糊方法是逆滤波去卷积方法，随着研究的不断深入，由Donatelli等人将偏微分方程理论应用于视频图像的恢复处理。（2）视频图像的盲运动去模糊，最早由Fergus等人基于研究对比运动模糊退化的视频图像，以及原始清晰的视频图像各自的梯度分布，提出的一种基于分布统计模型的盲运动去模糊算法。（3）基于视频的运动去模糊，由Takeda等人针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频进行去模糊处理。

目前，视频图像的去模糊方法大都是将多帧图像一起送入卷积神经网络模型，使用2D卷积核来提取单帧图像，使用重构损失函数作为监督，来对模糊的视频进行多次优化处理，达到去模糊的效果，然而这些方法过于依赖卷积神经网络，导致视频去模糊的时效性不佳，同时去模糊模型在实际应用中出现很多制约。此外，上述方法往往过于注重输入帧序列之间的时序联系，而忽视了生成的视频中帧与帧的连续性，导致恢复出来的视频出现一定的不连续性。

我们注意到，这些算法在视频去模糊方面的成功主要是对大容量模型的使用。与这些方法不同的是，我们探索了简单而成熟的原理，使去模糊模型更紧凑，而不仅仅是扩大网络模型的容量来进行视频去模糊。

发明内容

针对现有技术存在的不足，本发明提供一种运动去模糊的方法，目的在于消除拍摄设备摄像过程中模糊视频图像的模糊像素。该方法首先使用DSMAP-GAN网络对输入的模糊视频图像帧进行预处理，得到一个初步去模糊处理的视频图像帧；将已得到的视频图像帧输入到光流估计模块进行光流估计，再通过时间锐度先验模块得到时间锐度先验信息，最后将上述内容输入到图像隐藏帧恢复网络模块中进行处理，最终输出清晰的视频图像帧，并将其合成流畅的清晰视频。从而解决现有技术所存在的问题。

为实现上述目的，本发明提供了如下技术方案：一种运动视频去模糊的方法，包括以下步骤。

S1、构建视频去模糊模型；其中去模糊模型包括DSMAP-GAN网络预处理模块、光流估计模块、时间锐度模块和恢复网络模块。

S2、获取原始视频序列，将模糊视频每一帧分为一个模糊图像。然后输入到DSMAP-GAN模块中进行预处理达到初步去模糊。

S3、DSMAP-GAN模块训练过程是将模糊视频图像帧序列定为训练集A，清晰视频图像帧序列定为训练集B，然后输入到DSMAP-GAN网络中进行对抗训练得到最优的网络模型。

S4、将步骤2中生成的多张连续的初步去模糊图像帧输入到后续去模糊模块中去。