[发明专利]多尺度特征融合的视频去噪方法、系统、设备及存储介质

权利要求书

1.一种多尺度特征融合的视频去噪方法，其特征在于，包括：

S1、视频加噪，获取原始视频数据，对所述原始视频数据进行加噪处理后形成有噪视频数据；

S2、光流对齐，将所述有噪视频数据输入预先设置网络模型的光流对齐模块对所述有噪视频数据进行对齐处理后获取对齐后的序列帧；

S3、获取中间特征，将所述对齐后的序列帧依次输入预先设置网络模型的多尺度细化模块，所述多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征；

S4、将所述中间特征输入预先设置网络模型的时空融合模块，通过所述时空融合模块获取去噪序列帧，其中所述时空融合模块引入非局部的残差融合模块和选择性机制；

S5、通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异，根据所述差异调整预先设置网络模型的参数，直至所述预先设置网络模型收敛。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括：

随机从所述原始视频数据中选择连续的N帧序列，然后对N帧序列以相同尺寸裁剪同一位置的数据，对裁剪部位加入方差相同的高斯噪声，并对裁剪的位置进行翻转及旋转，其中，N为大于等于5的正整数。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2具体包括：

将所述对齐后的序列帧送入光流对齐模块的光流计算网络，以对齐后的序列帧中时刻g的帧作为参考帧，分别由g-1时刻序列帧和g+1时刻序列帧与g时刻的参考帧进行光流计算，得到两帧之间的光流，其中g为大于等于1且小于等于N-1的正整数；

将所述两帧之间的光流分别送入统一运动校正网络中，所述运动校正网络网络采用密集的卷积和权重归一化操作，用于细化光流计算的运动向量，分别得到校正后的光流特征；

通过对齐网络根据校正后g时刻的帧和g-1时刻的帧的光流特征，采用反向变形的方法得到对齐到g时刻、对齐到g-1时刻以及对齐到g+1时刻的帧。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括：

在所述多尺度细化模块的提取和融合阶段引入基于残差的注意力模块，将所述对齐后的序列帧通过采样得到不同层次的语义特征，通过残差跳跃连接相应层级的输入的特征，通过可选择性跳跃连接为对提取阶段得到的不同层次的语义特征进行融合再计算得到权重，然后分别应用到原始层级中进行拼接得到所述时空融合模块输入。

5.根据权利要求4所述的方法，其特征在于，所述步骤S4具体包括：

所述时空融合模块中提取和融合阶段使用非局部残差融合模块，所述非局部残差融合模块对输入的特征进行卷积得到特征图后对所述特征图进行变形、卷积和归一化操作得到全局的长距离建模权重，然后应用到输入的特征图上，最后通过一组卷积进行转换获得经建模过滤后的特征图。

6.根据权利要求1所述的方法，其特征在于，所述步骤S5具体包括：

通过公式1获取联合感知损失：

L＝δL_perceptual+L_MSE 公式1；

其中，L_perceptual表示感知损失；L_MSE表示均方差损失；δ为权重系数。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

采用峰值信噪比和结构相似性两种方式对所述多尺度特征融合的视频去噪方法进行去噪性能评估。