[发明专利]一种快速时空残差注意力视频超分辨率重建方法

说明书

本发明提出一种快速时空残差注意力视频超分辨率重建方法，通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分。本发明提出在高分辨率重建部分使用注意力机制，用于更好地复现高频信息。

技术领域

本发明涉及视频超分辨率重建领域技术，尤其涉及一种快速时空残差注意力视频超分辨率重建方法。

背景技术

视频超分辨率重建是一种将视频的连续低分辨率视频重建为其相应的高分辨率视频的技术。视频超分辨率重建技术在卫星成像、安防监控、以及视频传输优化有着极其重要的作用。

得益于深度学习在计算机视觉领域的快速发展，Dong等人首次利用基于深度学习的3层网络从单张低分辨率图像重建出其对应的超分辨率图像，大幅超越传统的插值重建方法[1]。自此开始越来越多的基于深度学习的超分辨率方法被发明出来。视频超分辨率可以简单地一帧一帧地使用图像超分重建方法进行超分，但这忽视了视频序列中帧间连续性带来的帧与帧之间的相关性和互补信息。因此，不同于图像超分辨率，如何高效利用视频的帧间连续帧带来的更多的信息往往被看作视频超分重建的一个关键。

为了提高视频超分辨率的重建效果，深度学习的视频超分辨率方法主要使用视频前后连续帧片段重建出其对应的一张高分辨率视频帧。

近年来，视频超分辨率基本上使用二维卷积网络学习低分辨率视频连续帧的特征，但是二维卷积不能直接作用于视频四维数据(帧序列、宽、高、色彩通道)，因此帧间融合技术往往被引入以用来融合多帧之间的信息。中国发明专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号CN105072373B，公开日为2018.03.27)采用双向循环卷积网络将前后相关联的帧信息用于辅助超分重建。Kappeler等人设计了基于深度卷积神经网络的视频超分辨率复原方法(Video super-resolution using convolutional neuralnetwork,VSRCNN)[5]，使用了堆叠的方式将前后关联帧图像与当前帧在颜色维度堆叠，然后放入网络进行训练以达到融合多帧信息的效果。在Caballero等人设计的具有时空网络和运动补偿的实时视频超分辨率方法(Video efficient sub-pixel convolutionalneural network，VESPCN)[6]以及Tao等人设计的深层细节的视频超分辨率方法(sub-pixel motion compensation Video Super-resolution，SPMC-VideoSR)[7]等都引入了运动估计来估算帧间信息，从而融合多帧信息。中国公开专利“一种基于深度学习的视频超分辨率重建方法”(公开号CN109102462A，公开日期2018.12.28)使用3D卷积构建了双向循环神经网络使用3D卷积进行时空特征融合。

尽管已有多种引入帧间信息融合的视频超分辨率复原方法，但是实际应用中，无论是运动估计还是原始的3D卷积都会消耗巨大的计算资源，这会导致重建时间过长，网络的深度不能变的更深，使其重建效果并不令人满意。本发明可以在一定程度上解决最后重建过程中丢失过多的高频信息问题。

本发明中涉及的参考文献如下：

[1]C.Dong,C.C.Loy,K.He,and X.Tang,“Learning a deep convolutionalnetwork for image super-resolution,”in European Conference on ComputerVision,2014,pp.184–199.