[发明专利]一种基于可变形特征对齐循环架构的视频超分辨方法

说明书

本发明属于图像处理技术领域，具体涉及一种基于可变形特征对齐循环架构的视频超分辨方法，该方法包括以下步骤：获取视频超分辨的公开数据集，并对数据集中的视频序列进行预处理；构建一个基于可变形特征对齐的循环架构的视频超分辨模型；基于构建的可变形特征对齐的循环架构网络和制作的训练集对网络模型进行训练；根据学习得到的模型参数，将5帧低分辨率的视频序列作为网络的输入，得到相应的超分辨率序列作为输出。本发明提供的视频超分辨方法基于可变形特征对齐循环架构的视频超分辨网络模型实现，该网络模型生成了超分结果不错的视频序列，在高清视频播放和视频监督等领域中有着广泛的应用前景。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于可变形特征对齐循环架构的视频超分辨方法。

背景技术

视频超分辨是指从模糊的、低分辨率视频中恢复出细节清晰、时间连续的高分辨率图像帧序列。视频超分辨在超高清视频生成、弱小目标视频监控及机器人精准医疗等方面发挥着重要的作用。由于连续图像帧之间具有高度的相关性，因此，解决不同帧时空特征的有效聚合是视频超分辨的一个主要难题。近年来，虽然已经出现了很多基于深度神经网络来实现视频超分辨的工作，但这些工作并没有充分解决视频超分辨的上述难题点问题。

当前，视频超分辨的主要框架可以划分为两种：基于滑动窗口的框架和基于递归结构的框架。滑动窗口方法是指按照某个特定的帧长(一般是奇数)去依次处理整个视频序列。在处理的过程中，在该方法中会将所有的输入帧显示或者隐式的对齐到中间帧上，然后进行信息的融合和重建，并输出中间帧的超分结果。这种方法的优势是能够比较充分的利用所有的输入帧的信息，并将其增强到中间帧上，实现局部最好的效果。但是由于可以利用的视频帧的数量有限，如果在中间帧附近发生遮挡等特殊情况，由于不能借鉴到有用信息，则会导致生成的效果较差。

与上述方法不同的是，基于递归的方法一般一次输入的图像比较多，并且能够一次生成所有输入帧对应的超分图像。在这个过程中，模型会递归的处理每一帧图像，并将本次的输出应用到下一次的迭代过程中。为了使局部信息能够整个时间序列上进行传递，后续的工作中又提出了双向递归的架构——即从时间维度上首先从后向前的进行一次处理，再从前向后进行处理。该方法可以实现在输入数量较多具有更好的性能。但是由于在每次的迭代过程中只利用了来自单方向的上一帧的输出结果，导致在输入帧数较少时效果反而不如基于滑动窗口的方法。

在两种框架下，具体到实现帧对齐的方法，当前主流的方法可分为光流对齐和可变形卷积对齐两种。已有的研究表明，可变形卷积对齐比光流对齐具有更好的效果，但是TDAN中提出的可变形卷积模块过于简单，并不能有效实现对齐，而EDVR中提出的金字塔型的可变形对齐网络模块结构复杂，并不适合于循环神经网络。

经检索，公开号为CN115330592A的专利文献公开了一种基于光流增强算法的视频超分辨率方法，其网络模块包括OFRNet、MCNet、SRNet、光流增强模块，该网络首先使用中央LR帧和相邻的帧作为网络的输入，生成相应的HR光流并使用光流增强模块来增强HR光流，之后通过空间深变换将增强的HR光流转化为LR网格，生成LR流立方体(Flow cube)。该基于光流增强算法的视频超分辨率方法，解决了LR光流问题和伪影问题，可以增强边界信息，有助于恢复图像的精细细节的问题。但该方法需要通过LR帧去估计HR光流，本身就存在着很大的难度与挑战，同时，其一次处理只能得出一个结果，且无法利用较长距离的其他视频帧信息，存在着一定的局限性。

基于以上分析，现有技术需要一种能够有效聚合不同帧时空特征，实现具有很好的超分结果的方法。

发明内容

为了克服上述现有技术存在的无法有效聚合不同帧时空特征的问题，本发明提出了一种基于可变形特征对齐循环架构的视频超分辨方法，能够更好的对齐相邻帧特征，同时通过递归处理和去模糊操作以及在频率域做损失从而达到更好的超分效果。

为达到上述目的，本发明提供的技术方案为：

一种基于可变形特征对齐循环架构的视频超分辨方法，包括如下步骤：