[发明专利]一种视频超分辨率处理方法、设备及存储介质

权利要求书

1.一种视频超分辨率处理方法，其特征在于，由视频处理模型来实现，包括以下步骤：

获取视频序列，提取所述视频序列中参考帧的特征图和相邻帧的特征图；

将所述相邻帧的特征图对齐到所述参考帧上；

将对齐后的特征图进行局部特征融合，获得局部融合特征图；

采用视频洗牌的策略将对齐后的特征图进行全局特征融合，获得全局融合特征图；

将所述局部融合特征图和所述全局融合特征图拼接并进行视频帧重建，获得高清视频帧；

将获得的高清视频帧进行合并，获得高分辨的视频序列；

其中，所述视频序列中最中间的视频帧为参考帧，其他视频帧作为相邻帧。

2.根据权利要求1所述的一种视频超分辨率处理方法，其特征在于，所述视频超分辨率处理方法还包括获取训练数据集的步骤，具体为：

获取高分辨率的视频，将所述视频分离为多个高分辨率的视频帧；

采用图像插值下采样技术对每个所述高分辨率的视频帧进行处理，获得低分辨率的视频帧；

根据所述高分辨率的视频帧和所述低分辨率的视频帧构建视频对作为所述视频处理模型的训练数据集。

3.根据权利要求1所述的一种视频超分辨率处理方法，其特征在于，所述视频处理模型包括浅层特征提取模块、隐式特征对齐模块、局部特征融合模块、全局特征融合模块以及重建模块；

所述参考帧和所述相邻帧以RGB形式输入到所述浅层特征提取模块进行特征提取。

4.根据权利要求3所述的一种视频超分辨率处理方法，其特征在于，所述隐式特征对齐模块由改进的可变形卷积叠加构成，所述可变形卷积包括参数预测部分和卷积采样部分；

其中，所述参数预测部分由递减的多空洞卷积单元对参考帧和相邻帧进行特征提取，输出预测的偏移量和调节系数；

所述卷积采样部分利用所述偏移量和所述调节系数这两个参数对相邻帧的特征进行采样，实现隐式的特征对齐。

5.根据权利要求4所述的一种视频超分辨率处理方法，其特征在于，所述可变形卷积的隐式对齐过程表示为：

其中，为输出的对齐后的相邻帧特征，ω_k表示卷积过程中的系数，即第b个可变形卷层中待对齐的相邻帧特征，p+p_k表示卷积过程中第k个采样点的位置，Δp_i,k为卷积核的采样位置的偏移量，Δm_i,k为卷积核内对应数值的调节系数。

6.根据权利要求3所述的一种视频超分辨率处理方法，其特征在于，所述局部特征融合模块从保持时序一致性的角度和保持相邻帧之间紧密性的角度进行设计，形成一个循环的结构；

所述局部特征融合模块通过以下方式对特征图进行局部特征融合：

将输入相邻帧的特征图和所述局部特征融合模块的上一轮输出的特征图进行结合，作为当前循环的输入，使得相邻两帧的信息被充分融合并且信息流能够从第一帧传递到最后一帧。

7.根据权利要求3所述的一种视频超分辨率处理方法，其特征在于，所述全局特征融合模块包括视频洗牌单元、多核卷积单元和逆视频洗牌单元；

所述视频洗牌单元用于将输入的特征图在通道维度上进行分组，以及交换各个分组后的通道；

所述多核卷积单元用于对特征进行充分融合；

所述逆视频洗牌单元用于恢复通道的正确分组。

8.根据权利要求1所述的一种视频超分辨率处理方法，其特征在于，所述视频超分辨率处理方法还包括优化所述视频处理模型的参数的步骤，具体为：

获取预设的优化器和损失函数，设置所述视频处理模型的参数；

对所述视频处理模型的神经网络进行迭代训练后，通过所述损失函数计算所述神经网络的损失；

结合所述优化器和计算获得的损失对所述视频处理模型的参数进行优化。