[发明专利]基于跨帧自注意力变换网络的时空视频超分辨率重建方法

说明书

本发明公开了一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法，包括以下步骤：采集连续图片序列，将其进行双三次插值降采样，并删除偶数帧，构成训练集；构建基于跨帧自注意力变换的时空视频超分辨率重建网络；利用训练集对基于跨帧自注意力变换网络进行训练；将低分辨率低帧率的连续图片序列输入所述训练完成的基于跨帧自注意力变换网络，获得高帧率高分辨率的连续图片序列。本发明能够通过一个端对端的神经网络同时实现空间和时间尺度的超分辨率，有效提高了对时空特征信息的利用，能够产生高帧率高分辨率的视频超分辨率重建效果。

技术领域

本发明涉及计算机视觉技术领域，更具体的说是涉及一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法。

背景技术

超分辨率重建技术的目的是将低分辨率的图片重建成高分辨率的图片，是计算机视觉领域一个重要分支，该技术广泛应用于安防监控、医疗成像、视频转播、遥感等领域。视频超分辨率重建技术旨在通过提取当前帧和相邻帧的信息来对当前帧进行超分辨率重建。相较于单帧超分辨率重建技术，视频超分辨率重建技术在处理图像序列时的重建效果更为理想。

随着深度学习技术的发展，基于深度学习的视频超分辨率重建技术相较于传统方法往往能获得更深的特征信息。而这些信息具有时间和空间上的关联性，因此，通过端对端的网络实现时空视频超分辨率重建成为了可能。目前的时空超分辨率重建技术往往采用的是两阶段方式，即首先通过超分辨率重建技术对空间尺度进行超分重建，再通过插帧方式对之前的超分结果进行插帧实现时间尺度的超分辨率重建。这种两阶段的时空超分辨率重建方式都需要使用大量的计算资源，不利于现实中的应用场景。而且根据目前的算法发展，性能较好的算法多采用深度学习框架，而两阶段的时空超分辨重建方法往往需要对图片序列进行两次特征提取，这种操作造成了现有计算资源的浪费，而且会导致前后两种方法的特征语义不一致导致重建结果在某些场景出现一定模糊。

发明内容

本发明的目的在于提供一种于跨帧自注意力变换网络的时空视频超分辨率重建方法，采用端对端的时空视频超分辨率重建方法同时提高原视频序列的时间和空间分辨率。

实现本发明的技术解决方案为：一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法，包括以下步骤：

S1、采集连续图片序列作为原始图片序列，对其进行双三次插值降采样，并删除降采样后的序列的偶数帧，得到处理后的图片序列，处理后的图片序列与原始图片序列共同构成训练集。

S2、构建基于跨帧自注意力变换时空视频超分辨率重建网络，并对其进行训练，得到训练完成的基于跨帧自注意力变换网络，具体如下：

S21、采用3×3的二维卷积核分别对训练集中的每帧图片进行浅层特征提取，获得对应的浅层特征图其中c代表经过二维卷积核处理后所得的特征图的通道数，t代表目前处理的帧序号。

S22、假设和为相邻的两帧浅层特征图，对和做可变形卷积操作，分别得到它们对应的偏置变量和设置可训练参数α和β，获得中间帧浅层特征图

S23、分别将浅层特征图和碎片化，并附着时序编码，对应得到处理后相邻三帧浅层特征图和的编码特征图V、Q和K，利用跨帧自注意力变换网络相邻编码特征图Q和K做自相关处理，得到最大似然矩阵T。并以最大似然矩阵T为索引，在编码特征图V中搜索，搜索过程中采用不同的相关步长，对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3。

S24、将当前帧对应的浅层特征图通过残差块进行深层特征提取，并结合最大似然矩阵T和不同尺度的相似矩阵由粗到细地重建出当前帧图片。

S25、更新卷积和权重，重复S21-S24直至收敛，得到训练完成的基于跨帧自注意力变换网络。

S3、利用训练好的基于跨帧自注意力变换网络对低分辨率低帧率的连续图片序列进行处理，获得高帧率高分辨率的连续图片序列。

本发明与现有技术相比，其显著优点在于：