[发明专利]一种基于深度学习的多帧视频去压缩噪声方法

说明书

本发明公开了一种基于深度学习的多帧视频去压缩噪声方法。本发明基于深度学习技术，提出了一个多帧视频去压缩噪声的模型，模型的输入是连续的多帧噪声图像，经过预去噪、运动补偿、图像增强模块，学习中间帧的残差噪声，得到较好的去噪图像。本发明的有益效果是：利用相邻帧包含的信息，通过运动补偿技术，提高去噪性能；通过预去噪，预先有效地去除一些严重的噪声，提高后续的去噪性能。

技术领域

本发明涉及图像处理相关技术领域，尤其是指一种基于深度学习的多帧视频去压缩噪声方法。

背景技术

在现实生活中，图像的数字化和传输过程中常受到成像设备和外部环境噪声干扰等影响，导致获取的图像质量下降。但是在很多图像应用领域，对图像质量的要求非常高。比如视频在压缩之后画质下降，而且压缩方式、压缩的比特率和视频的内容等因素都会使图像产生不同的噪声，阻碍人们对视频内容的理解。目前大部分去噪算法都是针对单帧图像，这样的方法忽略了相邻帧中包含的信息，因此它们的性能在很大程度上受到了限制。

近些年，随着深度学习技术的不断发展，卷积神经网络(CNNs)在计算机视觉方向受到了广泛的关注，并取得了显著的效果。在图像、视频处理领域，CNNs也做出了巨大贡献。但是，现有的对多帧视频去噪的研究较少，最相近的研究是多帧视频超分。在多帧视频超分算法中，常用的模块包括运动补偿和超分。借鉴多帧超分算法，将运动补偿模块应用于视频去噪。然而，由于模型的输入是含有噪声的多帧图像，使得网络学习到的运动估计存在失真，导致不正确的运动补偿，无法得到较好的去噪结果。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种能够有效提升去噪性能的基于深度学习的多帧视频去压缩噪声方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于深度学习的多帧视频去压缩噪声方法，具体包括如下步骤：

(1)准备数据：构建数据集，获得噪声图像，将连续的3帧噪声图像作为一组，对每组图像进行图像块采样，模型的输入由这些图像块组成；

(2)预去噪模块PreDenoise的设计：构造了一个预去噪模块PreDenoise，具体包含：3D卷积层+BatchNorm层+ReLU激活层为一组共4个，以及3D卷积层+ReLU激活层为一组共2个；

(3)运动补偿模块MC的设计：由于多帧图像处理思想相同，故采用超分MFQE中的运动补偿子网络进行运动补偿；

(4)图像增强模块Enhance的设计：构造了一个基于残差模块ResBlock的图像增强模块，具体有1个拼接层，1个卷积层，6个ResBlock模块，2个卷积层，1个ADD层；

(5)将步骤(2)、步骤(3)和步骤(4)的模块连接起来构成多帧图像去噪模型，同时训练这3个模块。

针对单帧图像去噪算法没有利用到前后帧图像中的信息，本发明提出基于深度学习的多帧图像去噪模型，利用相邻帧包含的信息，通过运动补偿技术，提高去噪性能。考虑到多帧图像的去噪和超分思想的相似性，将多帧图像超分算法的运动补偿应用于多帧图像去噪模型中。由于图像存在噪声，使得运动补偿模块无法正确学习，本发明提出预去噪模块，通过预去噪，预先有效地去除一些严重的噪声，提高后续的去噪性能。本发明基于深度学习技术，提出了一个多帧视频去压缩噪声的模型，模型的输入是连续的多帧噪声图像，经过预去噪、运动补偿、图像增强模块，学习中间帧的残差噪声，得到较好的去噪图像。

作为优选，在步骤(1)中，具体操作步骤如下：

(11)数据集由不同内容的清晰短视频组成，每个视频有若干帧图像，由于模型需要的数据是连续的多帧图像，因此将每帧图像以PNG格式保存下来，作为噪声图像的标签，而噪声图像是将清晰视频按不同压缩方式进行压缩后，再将每帧图像以PNG格式保存下来；