[发明专利]基于注意力机制的压缩视频修复与画质增强方法及系统

权利要求书

1.一种基于注意力机制的压缩视频修复与画质增强方法，其特征在于，包括以下步骤：

采用动态滤波处理，对视频的当前帧和目标帧在特征域上进行对齐，以利用视频帧间的时空关系；

采用注意力机制，对视频帧的细节进行修正，以避免视频帧出现过度平滑。

2.根据权利要求1所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：

所述动态滤波处理具体包括以下步骤：

步骤S11：在网络中生成帧间对齐滤波器和去压缩效应滤波器；

步骤S12：基于步骤S11生成的滤波器，采用动态滤波处理并通过特征转换层FTL进行帧特征对齐与压缩效应消除；在所述特征转换层FTL中，过滤操作不作为平移不变量，不同的滤波器被应用到输入I的不同位置上；对于输入特征的每个不同位置，一个特定的局部滤波器F被应用到以I为中心的区域；

步骤S13：融合帧对齐特征和去压缩效应特征生成清晰的图像。

3.根据权利要求2所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：

在所述注意力机制中，采用序列残差注意力模块SRAB代替卷积层作为网络结构基本单元，所述序列残差注意力模块SRAB由通道注意力模块CA和空间注意力模块SA组成；所述通道注意力模块CA用于学习每个通道上压缩效应的主要部分；所述空间注意力模块SA通过生成空间注意图学习图像的空间细节；融合CA和SA所学习的特征作为SRAB的最终输出。

4.根据权利要求1所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：采用均方根损失MSE和感知损失Perceptual Loss作为模型的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据。

5.根据权利要求4所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：采用有参考的性能评价指标PSNR，SSIM和LPIPS，无参考的性能评价指标RISQUE,NIQE和PIQE对任务完成情况进行评价。

6.根据权利要求5所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：根据运行时间对网络模型处理速度进行评价。

7.一种基于注意力机制的压缩视频修复与画质增强系统，其特征在于，包括：动态滤波处理模块和注意力机制模块；所述动态滤波处理模块通过特征转换层FTL进行帧特征对齐和压缩效应消除；所述注意力机制模块采用序列残差注意力模块SRAB代替卷积层作为网络结构基本单元，所述序列残差注意力模块SRAB由通道注意力模块CA和空间注意力模块SA组成。

8.根据权利要求7所述的基于注意力机制的压缩视频修复与画质增强方法，其特征在于：采用均方根损失MSE和感知损失Perceptual Loss作为模型的训练损失，对模型训练过程进行实时评价。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6其中任一所述的基于注意力机制的压缩视频修复与画质增强方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6其中任一所述的基于注意力机制的压缩视频修复与画质增强方法的步骤。