[发明专利]基于Transformer的视频时空超分辨率方法

说明书

本发明公开了基于Transformer的视频时空超分辨率方法。所述方法包括以下步骤：采集视频时空超分辨率的模型训练样本；构建高帧率低分辨率视频序列生成模型，基于Transformer注意力机制的时域特征融合的生成中间帧，生成高帧率低分辨率视频序列；构建高帧率高分辨率视频序列生成模型，基于Transformer注意力机制的时空域特征融合，重建高帧率高分辨率视频序列；构建基于Transformer的视频时空超分辨率模型并训练，根据训练好的基于Transformer的视频时空超分辨率模型对视频序列进行视频时空超分辨率重建。本发明结合了Transformer注意力机制获取了视频序列中的时空联系，实现了视频在时空上的超分辨率增强。

技术领域

本发明属于视频时空超分辨率增强领域，涉及基于Transformer的视频时空超分辨率方法。

背景技术

视频超分辨率增强是指利用相同动态场景下的多帧低分辨率的视频序列，重构高帧率高分辨率的视频序列。包括两个方面：时序上的增量超分辨和空间上的视频超分辨率。近年来深度学习算法技术的发展使得时序上的增量超分辨技术和空间上的视频超分辨率技术得到很大的改进，如公布号为CN111654746B的专利申请公开的一种视频的插帧方法、装置、电子设备和存储介质；和公布号为CN112365403A的专利申请公开的一种基于深度学习和相邻帧的视频超分辨率恢复方法。但是传统的深度学习方法很少可以同时完成时空上的超分辨率。

在视频时空超分辨领域中，有一些研究者尝试基于光流的方法。但是基于光流的方法通常以预设的时空关系建模相邻视频帧的联系，无法适应多种多样的运动情况，最终生成的序列容易产生抖动的视觉现象。如公开号为CN113034380A的专利申请公开的一种基于改进可变形卷积校正的视频时空超分辨率方法和装置。实际上，视频的数据在空间和时间上是具有关联的，研究融合时空特征的视频时空超分辨率技术可以获取视频中更多的信息，进而提高视频时空超分辨率的效果。

发明内容

为了解决上述技术背景中存在的至少一项问题，本发明提供了基于Transformer的视频时空超分辨率方法。

本发明的目的至少通过如下技术方案之一实现。

基于Transformer的视频时空超分辨率方法，包括以下步骤：

S1、采集视频时空超分辨率的模型训练样本；

S2、构建高帧率低分辨率视频序列生成模型，基于Transformer注意力机制的时域特征融合的生成中间帧，生成高帧率低分辨率视频序列；

S3、构建高帧率高分辨率视频序列生成模型，基于Transformer注意力机制的时空域特征融合，重建高帧率高分辨率视频序列；

S4、构建基于Transformer的视频时空超分辨率模型并训练，根据训练好的基于Transformer的视频时空超分辨率模型对视频序列进行视频时空超分辨率重建。

进一步地，步骤S1中，选用涵盖各种场景和动作的视频序列的原始数据集；

将原始数据集提供的视频序列I^HR视为高帧率高分辨率视频序列；原始数据集中每个视频序列表示为T表示视频序列的长度，即一段视频的帧数，表示视频序列中第i帧图像；i＝1,…,T；

对原始数据集中的视频序列的预处理具体如下：

先通过对原始数据集中原有的高帧率高分辨率视频序列I^HR通过双三次插值进行r倍下采样处理得到高帧率低分辨率视频序列，再进行a倍下采样处理得到低帧率低分辨率视频序列，构建训练数据集。

进一步地，步骤S2中，构建的高帧率低分辨率视频序列生成模型中，基于Transformer注意力机制的时域特征融合的生成中间帧，生成高帧率低分辨率视频序列，包括以下步骤：