[发明专利]基于跨帧自注意力变换网络的时空视频超分辨率重建方法

权利要求书

1.一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法，其特征在于，包括以下步骤：

S1、采集连续图片序列作为原始图片序列，对其进行双三次插值降采样，并删除降采样后的序列的偶数帧，得到处理后的图片序列，处理后的图片序列与原始图片序列共同构成训练集；

S2、构建跨帧自注意力变换网络，并对其进行训练，得到训练完成的跨帧自注意力变换网络，具体如下：

S21、采用3×3的二维卷积核分别对训练集中的每帧图片进行浅层特征提取，获得对应的浅层特征图其中c代表经过二维卷积核处理后所得的特征图的通道数，t代表目前处理的帧序号；

S22、假设和为相邻的两帧浅层特征图，对和做可变形卷积操作，分别得到它们对应的偏置变量和设置可训练参数α和β，获得中间帧浅层特征图具体如下：

S22-1、通过常规卷积得到每个卷积点的可学习的参数偏移量Δx₁、Δx₂：

其中g代表常规卷积操作；

S22-2、利用可变形卷积算出每个采样点的偏移变量：

其中，Dconv代表可变形卷积；采样点为浅层特征图中的特征像素点；

S22-3、通过设置可训练参数α和β获得相邻两帧图片中间帧的浅层特征图

S23、分别将浅层特征图和碎片化，并附着时序编码，对应得到处理后相邻三帧浅层特征图和的编码特征图V、Q和K，利用跨帧自注意力变换网络对相邻编码特征图Q和K做自相关处理，得到最大似然矩阵T；并以最大似然矩阵T为索引，在相邻一帧的浅层特征图中搜索，搜索过程中采用不同的相关步长，对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3；

S24、将当前帧对应的浅层特征图通过残差块进行深层特征提取，并结合最大似然矩阵T和不同尺度的相似矩阵由粗到细地重建出当前帧图片；

S25、更新卷积和权重，重复S21-S24直至收敛，得到训练完成的跨帧自注意力变换网络；

S3、利用训练好的跨帧自注意力变换网络对低分辨率低帧率的连续图片序列进行处理，获得高帧率高分辨率的连续图片序列。

2.根据权利要求1所述的一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法，其特征在于，分别将浅层特征图和碎片化，并附着时序编码，对应得到处理后相邻三帧浅层特征图和的编码特征图V、Q和K，利用跨帧自注意力变换网络对相邻编码特征图Q和K做自相关处理，得到最大似然矩阵T；并以最大似然矩阵T为索引，在相邻一帧的浅层特征图中搜索，搜索过程中采用不同的相关步长，对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3，具体如下：

S23-1、将和碎片化并附着时序编码：

其中G代表碎片化后碎片的时序编码，V为对应的编码特征图矩阵，Q为对应的编码特征图矩阵，K为对应的编码特征图矩阵；

S23-2、通过自注意力计算碎片的相关性t_i,j：

其中，(·,·)代表自相关运算，q_i,j为Q中的区域(i,j)的碎片，k_i,j为K中的区域(i,j)的碎片，t_i,j为最大似然矩阵T中区域(i,j)的相似性；

S23-3、以最大似然矩阵T为索引在相邻一帧的浅层特征图中搜索，分别采用不同的相关步长，获得不同尺度相似矩阵Lv1、Lv2和Lv3：

其中L₁代表相关步长为1的特征索引搜索，L₂代表相关步长为2的特征索引搜索，L₄代表相关步长为4的特征索引搜索。

3.根据权利要求2所述的一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法，其特征在于，S24中，将当前帧对应的浅层特征图通过残差块进行深层特征提取，并结合最大似然矩阵T和不同尺度的相似矩阵由粗到细地重建出当前帧图片I，具体如下：

F_Lv2＝f(f(F_Lv1)+Lv2)*T^↑

F_Lv3＝f(f(F_Lv2)+Lv3)*(T^↑)^↑

I＝F_Lv1+F_Lv2+F_Lv3

其中f代表残差块运算，↑代表上采样。