[发明专利]一种快速时空残差注意力视频超分辨率重建方法

权利要求书

1.一种快速时空残差注意力视频超分辨率重建方法，其特征在于：通过在神经网络模型中增加注意力上采样机制，将网络注意力集中于高频信息，从而得到更好的恢复结果；

视频超分辨率重建实现过程包括训练与测试数据准备，设置神经网络模型的网络结构，训练好神经网络模型，将测试的低分辨率视频输入到训练好的神经网络模型中，模型的输出为重建后的超分辨率视频帧，将得到的连续帧合成视频得到超分辨率视频；

所述神经网络模型的网络结构，包括低分辨率特征提取部分、快速时空残差块部分、高分辨率重建部分和高分辨率残差学习部分，所述高分辨率重建部分包括一个用于融合特征的3D卷积，之后分为高分辨率映射分支和注意力模块分支，最后两个分支相乘并使用一个卷积融合特征。

2.根据权利要求1所述快速时空残差注意力视频超分辨率重建方法，其特征在于：所述低分辨率特征提取部分，包括对输入的低分辨率视频LR应用3D卷积和激活函数运算进行特征提取，输出结果F₀。

3.根据权利要求2所述快速时空残差注意力视频超分辨率重建方法，其特征在于：所述快速时空残差块部分，由若干个快速时空残差块组成，第一个残差块输入为低分辨率特征提取部分输出，之后每个残差块输入为上一个残差块的输出。

4.根据权利要求3所述快速时空残差注意力视频超分辨率重建方法，其特征在于：高分辨率重建部分的输入为快速时空残差块部分的输出，高分辨率映射分支对快速时空残差块部分输出的融合结果应用一个3D卷积，输出结果F_up，意力模块分支对快速时空残差块部分输出F_D应用一个串联连续1个下采样，然后采用n个上采样卷积，使得此处输出分辨率和高分辨率映射部分相同，其中n＝s/2，s是缩放比例，输出结果为F_A；最后两个分支相乘并使用一个卷积融合特征，得到输出

5.根据权利要求4所述快速时空残差注意力视频超分辨率重建方法，其特征在于：高分辨率残差学习部分中，引入一个映射函数，将低分辨率视频LR映射到高分空间，然后和高分辨率重建部分的输出相加，取其结果的中间一帧作为最后的超分结果。