[发明专利]基于双向循环网络的高分辨率视频复原系统及方法

说明书

本发明涉及一种基于双向循环网络的高分辨率视频复原系统及方法，包括：正向循环模块包括多个依次设置的正向处理单元，正向处理单元与视频帧的一一对应设置，当前正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；反向循环模块包括多个依次设置的反向处理单元，反向处理单元与视频帧的一一对应设置，当前反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；融合单元将低频部分与高频部分融合，获得高分辨率的视频帧。其针对各类场景下低分辨率视频序列，能够适应不同长度的视频，具有很好的鲁棒性。

技术领域

本发明涉及视频处理技术领域，尤其是指一种基于双向循环网络的高分辨率视频复原系统及方法。

背景技术

在现代生活中，高分辨率视频的需求非常普遍，在安防监视、医学成像、目标检测和人脸识别等众多领域都需要高分辨率图像或视频的支持。高分辨率视频复原技术通过低分辨率图像作为输入，在不需要其他信息的情况下生成对应的高分辨率图像，同时具有较好的主客观评价。如传统方法中的插值算法，它能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中传统方法中的插值算法，能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差的技术缺陷。

为解决上述技术问题，本发明提供了一种基于双向循环网络的高分辨率视频复原系统，包括：

正向循环模块，所述正向循环模块包括多个依次设置的正向处理单元，所述正向处理单元与视频帧的一一对应设置，当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧，将当前视频帧转化为低频部分；

反向循环模块，所述反向循环模块包括多个依次设置的反向处理单元，所述反向处理单元与视频帧的一一对应设置，当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧，将当前视频帧转化为高频部分；

融合单元，所述融合单元具有多个，所述融合单元与正向处理单元和反向处理单元对应设置，所述融合单元将所述低频部分与高频部分融合，获得高分辨率的视频帧。

作为优选的，所述正向处理单元将视频的预设图像帧转化为低频部分，包括以下步骤：

利用卷积层对X_f进行浅层特征提取，获得浅层特征，其中，为第t帧参考帧；

将浅层特征进行通道拆分，获得重置信号r和更新信号u两部分；

将重置信号r与进行点乘，并与级联得到新的中层特征

中层特征通过残差网络进行特征细化，获得细化后的特征h'_t-1；

将细化后的特征h'_t-1与u组合进行特征更新，获得输出分量和隐藏分量其中，和将作为输入进入下一个时刻的循环，作为第一输出分量，参与最终t时刻视频帧的复原过程。

作为优选的，所述残差网络包括多个残差块。

作为优选的，所述将细化后的特征h'_t-1与u组合进行特征更新，获得输出分量和隐藏分量包括：

计算uF，

通过卷积层和激活层对uF进行处理，获得隐藏分量

通过卷积层对uF进行处理，获得输出分量

作为优选的，所述融合单元包括三个通道数为3的残差块。

本发明公开了一种基于双向循环网络的高分辨率视频复原方法，基于上述的高分辨率视频复原系统，包括以下步骤：