[发明专利]基于自适应的超像素导向自回归模型的视频超分辨率方法

说明书

技术领域

本发明属于计算机视觉技术领域，涉及基于GPU的光流理论、自回归模型理论、超像素理论、马尔科夫随机场理论及单张图像实现图像超分辨率方法，具体讲，涉及基于自适应的超像素导向自回归模型的视频超分辨率方法。

背景技术

长期以来，通过低分辨视频恢复到高分辨率视频已在关键技术上取得了重要突破，已经趋于成熟并在监控视频、互联网视频、数字电视、智能交通等多个领域获得广泛应用。然而，传统的方法做超分辨率视频需要视频中已经存在高分辨率的关键帧，并且得到的超分辨率结果存在块效应或噪声等问题。基于自适应的超像素导向自回归模型的视频超分辨率方法则可达到更高的分辨率，并且不要求视频中已经存在高分辨率的关键帧。相关研究在近年来开始成为研究热点。视频超分辨率方法技术在高清视频、高清度电视、监控视频、智能交通和安全监控等领域有着广泛应用。国际上多所著名大学与研究机构如：伊利诺伊大学，牛津大学，布朗大学，仁荷大学，萨里大学，布拉德福大学，新英格兰微软研究院，YUV软件公司等都在该领域有着深度的研究。现阶段，普遍的视频超分辨率技术由于非常依赖于借助视频关键帧的高频信息构造字典而难以获得用户满意的超分辨率效果。其中，要得到更精确的超分辨视频，一种方法是采用更精确的字典，但由于视频中关键帧的数量有限，不能满足需求。另一种方法是利用关键帧和非关键的时空关系构造自回归模型得到超分辨率的视频帧。仁荷大学（Byung Cheol Song,Shin-Cheol Jeong,Yanglim Choi.Image Video Super-Resolution Algorithm Using Bi-Directional Overlapped Block Motion Compensation and On-the-Fly Dictionary Training.IEEE Transaction on Circuits and Systerm for Video Technology,Vol.21,No.3,2011,274-286.）通过构建字典的方法实现了视频的超分辨率放大。但是该方法得到的结果图像质量有待提高，并且由于依赖视频中原始存在的高分辨率关键帧，不能应用到很多现实的视频中。

发明内容

本发明旨在解决克服现有技术的不足，提供一种能广泛应用，且能得到高质量视频的视频超分辨率获取方法，本发明采取的技术方案是，一种基于自适应的超像素导向自回归模型的视频超分辨率方法，其特征是，将视频帧分为关键帧和非关键帧：对关键帧采用基于稀疏回归和自然图像对的方法进行超分辨率，对非关键帧采用基于自适应的超像素导向自回归模型的视频超分辨率方法结合相邻最近的关键帧进行超分辨率，将得到的超分辨率关键帧和超分辨率非关键帧综合成超分辨率视频。

基于自适应的超像素导向自回归模型的视频超分辨率方法具体步骤为：

1）对于输入视频，采用一种自适应的迭代方法计算选取关键帧的阀值T；

2）通过计算并判断当前帧与之前相邻最近的关键帧之间的运动误差是否大于阀值T来选择关键帧和非关键帧；

3）对步骤2）选择出的关键帧，采用基于稀疏回归和自然图像对的图像超分辨率方法进行超分辨率；

4）对步骤2）选择出的非关键帧，采用双三次差值的方法将其初始的放大到想要的分辨率；

5）基于步骤4）得到的初始放大非关键帧，采用基于GPU的光流方法将当前非关键帧之前相邻的最近的关键帧投影到当前帧；

6）根据初始非关键帧对步骤5）得到的投影图像进行修正，构造提出模型的数据项；

7）基于步骤4）得到的初始放大非关键帧，提取边缘几何流信息和超像素信息；

8）根据提取的几何流信息和超像素信息构造AR模型的系数项；

9）将步骤6）得到的数据项和步骤8）得到的系数项构造基于自适应的超像素导向自回归模型，用该模型恢复超分辨率的非关键帧；

10）将步骤3）得到的超分辨率关键帧和步骤9）得到的超分辨率非关键帧综合成超分辨率视频。

一种自适应的迭代方法计算阀值T，具体包括以下步骤：

11）计算每相邻两帧的运动误差e_i,i+1，根据大量实验统计定义阀值下限c₁和上限c₂；

12）求整段视频所有帧的平均误差，计算如下：