[发明专利]一种多个注意力结合光流的视频超分辨模型及方法

权利要求书

1.一种多个注意力结合光流的视频超分辨模型，其特征在于：该模型包括特征提取部分、特征处理部分、可变形卷积部分和视频重建部分；视频帧依次通过四个部分达到超分辨；所述的特征处理部分包括多注意力分支和注意力光流估计分支；所述的多注意力分支包括空间注意力模块、自注意力模块、卷积模块和上采样模块；注意力光流估计分支包括空间注意力模块、通道注意力模块、光流估计网模块、卷积模块和上采样模块。

2.根据权利要求1所述的一种多个注意力结合光流的视频超分辨模型，其特征在于：所述的多注意力分支中的模块按视频帧经过顺序为空间注意力模块-自注意力模块-卷积模块-上采样模块-卷积模块；所述的注意力光流估计分支模块顺序为视频帧同时经过空间注意力模块和通道注意力模块，再进入光流估计网模块-卷积模块-上采样模块-卷积模块。

3.根据权利要求1或2所述的一种多个注意力结合光流的视频超分辨模型，其特征在于：所述的特征提取部分包括两个卷积模块和三个残差密集模块，输入的视频帧依次经过两个卷积模块和三个残差密集模块，再进入特征处理模块；所述的视频重建模块为卷积模块。

4.一种利用权利要求3的模型进行多个注意力结合光流的视频超分辨方法，其特征在于，其步骤为：

步骤一、输入连续的2n+1个低分辨的视频帧；

步骤二、将视频帧输入模型的特征提取部分，提取视频帧特征F；

步骤三、将提取的特征F分别送入多注意力分支和注意力光流估计分支，可以得到两个分支的输出和

步骤四、对和进行上采样后，输入DLSTM和一个卷积模型，得到视频超分辨特征

5.根据权利要求4所述的一种多个注意力结合光流的视频超分辨方法，其特征在于：所述的步骤一中，输入的视频帧为MAFnet中的2n+1个LR帧，其序列为MAFnet输入大小为(M_L×N_L)，其中是输出的HR帧，表示为I_SR，大小为(M_H×N_H)，并且M_HM_L，N_HN_L。

6.根据权利要求5所述的一种多个注意力结合光流的视频超分辨方法，其特征在于：所述的步骤二中，视频帧经过两次卷积操作和残差密集块操作获得特征F，

其中，I_LR表示输入的低分辨帧，H_rdb(·)表示残差密集块操作，H_c(·)表示卷积操作。

7.根据权利要求6所述的一种多个注意力结合光流的视频超分辨方法，其特征在于：所述的步骤三中，提取的特征F送入多注意力分支和注意力光流估计分支，分别得到多注意力分支输出，式(2)，和注意力光流估计分支输出，式(3)，

其中，H_se(·)为自注意力模块函数，H_sa(·)为空间注意力模块函数，H_ca(·)为通道注意力模块函数，H_f(·)为光流模块函数。