[发明专利]一种多个注意力结合光流的视频超分辨模型及方法

说明书

本发明提供的一种多个注意力结合光流的视频超分辨模型及方法，属于模式识别与计算机视觉技术领域。本发明的模型包括特征提取部分、特征处理部分、可变形卷积部分和视频重建部分。本发明的方法利用双阶段思想分别对微小运动和大型运动进行特征对齐，分别处理微小运动和大型运动的信息，减小了目标帧和参考帧的偏差，充分利用了所有分层的特征信息，利用多个注意力使得视频空间信息不易丢失，保留了空间信息，增强通道的依赖性和自适应性，并能捕获长距离依赖实现全局学习。并利用可变形卷积长短时记忆网络(DLSTM)进行视频帧融合，防止了恢复的视频出现抖动和闪烁伪影等现象，保证视频时序的一致性。

技术领域

本发明涉及模式识别与计算机视觉技术领域，更具体地说，涉及一种多个注意力结合光流的视频超分辨模型及方法。

背景技术

目前，基于卷积神经网络的深度学习方法被广泛应用于在计算机视觉领域。底层视觉中的超分辨技术一直以来都是极具挑战且受欢迎的计算机视觉任务。根据数据类型分类，目前的超分辨工作分为图像超分辨和视频超分辨。视频超分辨与图像超分辨的区别主要有两点，包括：视频帧对齐和视频帧融合。其中，视频帧对齐是因为视频中存在各种运动信息，所以参考帧和目标帧之间存在偏差，在超分辨中一般是需要利用邻帧和参考帧做对齐。而视频中存在运动模糊和场景切换的问题，有效的融合视频帧可以去除干扰信息。

针对上述的两点，目前已有的方法一是利用三维卷积，直接利用3D卷积捕捉时域特征的功能，直接做帧间融合；二是利用循环结构提取帧间关系，融合目标帧和参考帧的信息；三是利用融合后的帧间信息预测滤波器参数，再通过滤波的方式做超分辨，获得自适应的滤波效果。而目前的视频超分辨的整体框架大致有两个思路，一是利用三维卷积，但是使用三维卷积会因为多引入一个维度而增加更多的参数，导致计算成本的增加。二是将视频处理成一帧一帧的图像，然后按照图像超分辨的方法来处理，这样做难以保持视频的时序一致性，恢复的视频容易出现抖动现象。

经检索，中国专利申请号：ZL201911203785.1，申请日为：2019年11月29日，发明名称为：一种基于深度双重注意力网络的视频超分辨率重建方法，该申请案通过加载级联的运动补偿网络模型和重建网络模型，充分利用时空信息特征来实现精确的视频超分辨率重建；其中的运动补偿网络模型能够由粗糙到细致地逐步学习光流表示合成相邻帧的多尺度运动信息；在重建网络模型中利用双重注意力机制，并形成一个残差注意力单元，专注中间信息特征，能够更好的恢复图像细节。但该申请案依然为将视频处理成一帧一帧的图像来进行超分辨处理，恢复的视频依然会出现抖动的现象。

发明内容

1.发明要解决的技术问题

鉴于现有的视频超分辨方法存在计算成本高或视频恢复后易出现抖动的问题，本发明提供了一种多个注意力结合光流的视频超分辨模型及方法，利用双阶段特征对齐的思路，使用光流网络处理微小运动信息，利用可变形卷积的LSTM来处理大型运动信息，减小了目标帧和参考帧偏差的同时，保证了恢复的视频在时序上的一致性。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种多个注意力结合光流的视频超分辨模型，该模型包括特征提取部分、特征处理部分、可变形卷积部分和视频重建部分；视频帧依次通过四个部分达到超分辨；所述的特征处理部分包括多注意力分支和注意力光流估计分支；所述的多注意力分支包括空间注意力模块、自注意力模块、卷积模块和上采样模块；注意力光流估计分支包括空间注意力模块、通道注意力模块、光流估计网模块、卷积模块和上采样模块。

更进一步地，所述的多注意力分支中的模块按视频帧经过顺序为空间注意力模块-自注意力模块-卷积模块-上采样模块-卷积模块；所述的注意力光流估计分支模块顺序为视频帧同时经过空间注意力模块和通道注意力模块，再进入光流估计网模块-卷积模块-上采样模块-卷积模块。