[发明专利]基于注意力机制的压缩视频修复与画质增强方法及系统

说明书

本发明提出一种基于注意力机制的压缩视频修复与画质增强方法及系统，首先，采用动态滤波处理，对视频的当前帧和目标帧在特征域上进行对齐，进而有效的利用视频帧间的时空关系；其次，为了避免过度平滑，利用注意力机制设计序列残差注意力模块(SRAB)作为网络的基本单元，对视频帧的细节进行修正；最后，利用训练模型预测出的结果与原始未压缩的视频帧进行对比，判断任务中目标的完成情况。本发明方法较采用其他视频增强算法相比本发明在视觉性能上表现最好，并且处理速度较快，优势明显。

技术领域

本发明属于底层视觉多媒体交互技术领域，尤其涉及一种基于注意力机制的压缩视频修复与画质增强方法及系统。

背景技术

当前，视频编码、通信与显示技术的持续发展，培育了多媒体用户对视频数量和质量的需求提升。然而，当前有损视频编码特别是低码率编码，必然导致压缩失真效应，其超出用户视觉感知阈值的部分，已被证实为影响用户体验质量的关键要素。解决上述问题的重要手段之一，是探索实现视频压缩失真的高效去除算法，以优化相关视频观感。

发明内容

针对现有技术存在的缺陷和不足，本发明的目的在于提供一种基于注意力机制的压缩视频修复与画质增强方法及系统，及保证一定性能的低复杂度去除策略，以面向不同应用场景和用户需求。首先，采用动态滤波处理，对视频的当前帧和目标帧在特征域上进行对齐，进而有效的利用视频帧间的时空关系；其次，为了避免过度平滑，利用注意力机制设计序列残差注意力模块(SRAB)作为网络的基本单元，对视频帧的细节进行修正；最后，利用训练模型预测出的结果与原始未压缩的视频帧进行对比，判断任务中目标的完成情况。本发明方法较采用其他视频增强算法相比本发明在视觉性能上表现最好，并且处理速度较快，优势明显。

本发明具体采用以下技术方案：

一种基于注意力机制的压缩视频修复与画质增强方法，其特征在于，包括以下步骤：

采用动态滤波处理，对视频的当前帧和目标帧在特征域上进行对齐，以利用视频帧间的时空关系；

采用注意力机制，对视频帧的细节进行修正，以避免视频帧出现过度平滑。

所述动态滤波处理具体包括以下步骤：

步骤S11：在网络中生成帧间对齐滤波器和去压缩效应滤波器；

步骤S12：基于步骤S11生成的滤波器，采用动态滤波处理并通过特征转换层FTL进行帧特征对齐与压缩效应消除； FTL的操作流程如下：在这个层中，过滤操作不再是平移不变量，不同的滤波器被应用到输入I的不同位置上。对于输入特征的每个不同位置，一个特定的局部滤波器F被应用到以I为中心的区域。FTL不仅可以像动态卷积层那样执行单个的变换，还可以像局部变形那样执行特定位置的变换。

步骤S13：融合帧对齐特征和去压缩效应特征生成清晰的图像。

进一步地，在所述注意力机制中，采用序列残差注意力模块SRAB代替卷积层作为网络结构基本单元，所述序列残差注意力模块SRAB由通道注意力模块CA和空间注意力模块SA组成；所述通道注意力模块CA用于学习每个通道上压缩效应的主要部分；所述空间注意力模块SA通过生成空间注意图学习图像的空间细节；融合CA和SA所学习的特征作为SRAB的最终输出。其中，SRAB的具体操作流程如下：首先，来自前一个模块的特性映射X经过两个标准卷积层，并被馈入CA模块生成注意力通道映射C。然后，C被输入到SA模块以生成空间注意力映射S。这两个特征映射被连接起来，然后通过一个卷积层返回到它们原来的通道大小，然后添加到输入特征X中，得到最终结果。

进一步地，采用均方根损失MSE和感知损失Perceptual Loss作为模型的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据。

进一步地，采用有参考的性能评价指标PSNR，SSIM和LPIPS，无参考的性能评价指标RISQUE,NIQE和PIQE对任务完成情况进行评价。

进一步地，根据运行时间对网络模型处理速度进行评价。