[发明专利]基于Transformer的视频时空超分辨率方法

权利要求书

1.基于Transformer的视频时空超分辨率方法，其特征在于，包括以下步骤：

S1、采集视频时空超分辨率的模型训练样本；

S2、构建高帧率低分辨率视频序列生成模型，基于Transformer注意力机制的时域特征融合的生成中间帧，生成高帧率低分辨率视频序列；

S3、构建高帧率高分辨率视频序列生成模型，基于Transformer注意力机制的时空域特征融合，重建高帧率高分辨率视频序列；

S4、构建基于Transformer的视频时空超分辨率模型并训练，根据训练好的基于Transformer的视频时空超分辨率模型对视频序列进行视频时空超分辨率重建。

2.根据权利要求1所述的基于Transformer的视频时空超分辨率方法，其特征在于，步骤S1中，选用涵盖各种场景和动作的视频序列的原始数据集；

将原始数据集提供的视频序列I^HR视为高帧率高分辨率视频序列；原始数据集中每个视频序列表示为T表示视频序列的长度，即一段视频的帧数，表示视频序列中第i帧图像；i＝1,…,T；

对原始数据集中的视频序列的预处理具体如下：

先通过对原始数据集中原有的高帧率高分辨率视频序列I^HR通过双三次插值进行r倍下采样处理得到高帧率低分辨率视频序列，再进行a倍下采样处理得到低帧率低分辨率视频序列，构建训练数据集。

3.根据权利要求1所述的基于Transformer的视频时空超分辨率方法，其特征在于，步骤S2中，构建的高帧率低分辨率视频序列生成模型中，基于Transformer注意力机制的时域特征融合的生成中间帧，生成高帧率低分辨率视频序列，包括以下步骤：

S2.1、对预处理得到的低帧率低分辨率视频序列，通过卷积和残差模块计算得到低帧率低分辨率初始特征序列，在低帧率低分辨率视频序列中相邻的两帧图像之间生成中间帧图像，对于要生成的中间帧图像即第t帧图像，前一帧图像的特征记为F_t-1，后一帧图像的特征记为F_t+1；

S2.2、基于Transformer注意力机制，获取要生成的中间帧图像的相邻帧图像特征的联系信息，得到帧之间的特征联系信息；对于要生成的中间帧图像的相邻的两帧图像特征，相邻帧图像特征的联系信息包括中间帧图像的前一帧图像特征到中间帧图像的后一帧图像特征的正向联系信息R_t-1→t+1，以及中间帧图像的后一帧图像特征到中间帧图像的前一帧图像特征的反向联系信息R_t+1→t-1；

S2.3、融合中间帧图像的前一帧图像特征F_t-1和正向联系信息R_t-1→t+1，得到由前往后的正向中间帧特征F_t-1→t；融合中间帧图像的后一帧图像特征F_t+1和反向联系信息R_t+1→t-1，得到由后往前的反向中间帧特征F_t+1→t；将正向中间帧特征F_t-1→t和反向中间帧特征F_t+1→t进行融合，具体为将正向中间帧特征F_t-1→t和反向中间帧特征F_t+1→t拼接再通过卷积计算，得到最终的中间帧特征F_middle，具体如下：

F_t-1→t＝F_t-1+R_t-1→t+1；

F_t+1→t＝F_t+1+R_t+1→t-1；

F_middle＝Conv(Concate(F_t-1→t,F_t+1→t))；

S2.4、对生成的最终的中间帧特征F_middle通过RDN模块进行特征学习，得到中间帧的特征信息F_t，再通过卷积计算将中间帧的特征信息转为图像信息，生成中间帧图像；中间帧图像和预处理得到的低帧率低分辨率视频序列按时间顺序拼接成高帧率低分辨率视频序列，即将中间帧图像插入对应的前一帧图像和后一帧图像之间。