[发明专利]一种基于先验信息和卷积神经网络的视频去噪方法

说明书

本发明属于视频处理领域，尤其涉及视频增强技术，具体提供一种基于先验信息和卷积神经网络的视频去噪方法。本发明基于卷积神经网络对噪声视频进行去噪，构建由两个部分连接构成的去噪神经网络，其中，第一部分为依次连接的4层1×1卷积核，每个卷积核后均连接ReLU激活函数；第二部分为依次连接的15层3×3 Octave卷积核，第1到14层卷积核后均连接批标准化及ReLU激活函数；同时，充分在训练集构建及待处理噪声视频数据预处理过程中，充分利用前后帧信息。综上所述，本发明与传统方法相比，无需人工手动调整参数，去噪效果好，能很好的保持视频中纹理细节，使用方便，运行速度快，鲁棒性高。

技术领域

本发明属于视频处理领域，尤其涉及视频增强技术，具体提供一种基于先验信息和卷积神经网络的视频去噪方法。

背景技术

在日常生活中，由于拍摄条件的限制以及发送设备、传输设备、接收设备的影响，视频经常受到噪声干扰，使视频质量下降，从而影响视频的视觉效果，妨碍视频的进一步处理。因此，为了获取高质量数字图像，必须对图像和视频进行去噪处理同时尽可能得保持原始信息。

传统的图像视频去噪方法会在滤除噪声颗粒时引入人工噪声或大大模糊图像，因此存在很大的局限性；而另有一些方法具有更好的去噪效果，但是一些图像边缘信息却在去噪时丢失，或者由于计算量太复杂，导致算法效率低下。经典的图像质量增强方法已经十分成熟，但是面对日益增加的需求，其性能无法满足如今面临各种更加复杂的问题；新型的高效图像质量增强方法得到了充分的关注。卷积神经网络是近段时间比较流行的方法；神经网络通过卷积层来提取信息，通过损失函数来测量输出特征和标签之间的差异，反向传播之后更新网络参数，通过不断迭代以达到最佳网络参数，神经网络不需要人工手调参数即可学习到理想最优参数以达到最好性能；同时，由于视频的信息冗余性，充分利用好当前噪声帧的前后帧可以有效提升当前噪声帧的去噪效果；因此，本发明提供一种基于先验信息和卷积神经网络的视频去噪方法。

发明内容

本发明的目的在于针对上述现有视频去噪方法的不足，提供一种基于先验信息和卷积神经网络的视频去噪方法；该方法充分利用前后帧信息，结合卷积神经网络实现视频去噪，大幅提升去噪性能，并在运行速度、计算量和内存使用上有一定优势。

为实现上述目的，本发明采用的技术方案为：

一种基于先验信息和卷积神经网络的视频去噪方法，包括以下步骤：

步骤S1、构建训练集；

S11、将无噪声视频进行抽帧得到无噪声视频片段，并对无噪声视频片段中每个视频帧依次进行滤波、降采样、颜色空间转换、归一化的数据预处理；并且，对预处理后视频帧加入高斯噪声形成噪声帧，得到与无噪声视频片段对应的噪声视频片段；

S12、对噪声视频片段进行拼接，将噪声视频片段的噪声帧进行分组，每组包括：前一噪声帧、当前噪声帧以及后一噪声帧，并按照该顺序依次连接构成噪声图像块，、T表示噪声帧的总帧数；

S13、采用DnCNN对每一个噪声图像块中的前一噪声帧与后一噪声帧进行预去噪，对应得到预去噪后前一噪声帧与后一噪声帧，构成预去噪后噪声图像块；

S14、针对每一个预去噪后噪声图像块，对前一噪声帧与当前噪声帧之间、后一噪声帧与当前噪声帧之间分别进行块匹配，并重构成新的前一噪声帧及后一噪声帧，进而得到新的噪声图像块；

S15、将噪声图像块及其对应的无噪声视频帧组成训练数据对，按M×N大小截取子图像块，形成若干子图像块对，、K表示单个训练数据对截取得子图像块总数；将所有视频片段形成的子图像块对随机打乱顺序，构成训练集；

S2、构建及训练去噪神经网络；

S21、构建去噪神经网络结构，由两个部分连接构成：