[发明专利]一种基于深度学习的视频超分辨率重建方法

说明书

本发明公开了一种基于深度学习的视频超分辨率重建方法，其技术关键在于（1）给定同一镜头下连续图像，网络预测更清晰的视频帧图像；（2）采用双向循环神经网络和深度3D反向投影网络；（3）本发明将两个网络合并成一个网络，此网络作为本发明的深度学习的视频超分辨率重建的网络（4）训练数据为有标签，将处理的数据视频帧通过此网络得到损失函数。本发明最终目标是输入低分辨率视频帧经过双向循环网络预测视频帧的时间和空间上的信息，经过3D投影网络再预测视频帧的细节信息，经过反复训练得到一个最优模型，这个模型应用于去除相机的抖动、物体快速运动的模糊、失焦模糊、镜头光学模糊、景深变化、压缩失真和噪声等降质因素的影响。

技术领域

本发明属于视频处理领域，尤其涉及一种基于深度学习的视频超分辨率重建方法。

背景技术

视频超分辨率(super resolution,SR)是从一个低分辨率视频得到高分辨率视频的过程，该技术主要被用于对视频空间分辨率的增强，其可以突破原有的系统成像硬件条件的限制，重新获得的高分辨率视频具有更高的分辨率，更多的细节信息，更高质量的画质的特点，是目前获取高精度视频的最有效、最低成本的途径之一。

视频获取过程中，受成像条件和成像方式等因素的限制，成像系统通常并不能获取原始场景中的所有信息，在成像过程中会受到震动、变形、模糊、下采样和噪声等诸多因素的影响，从而造成获取的视频质量下降。因此，在不改变成像系统硬件设备的前提下，有效提高所获取的视频质量，一直以来都是成像技术领域所致力解决的核心问题。该项技术的研究具有重要的意义。

实际生活中对模糊视频的处理已经迫在眉睫，不管是相机抖动，雾霭，噪声，本身分辨率不够等多种原因，都需要一种有效的方法将不清晰的模糊的视频变为清晰的视频。一种方法是提高视频帧的分辨率，另一种就是提高视频帧的质量(类似photoshop中图像的品质)。由此也产生2个不同的研究方向：一个是超分辨率方向，一个是解模糊方向。超分辨率实现技术的方法有多种，这里我们阐述几个目前最常使用的方法：1)基于插值。该方法是目前超分辨率研究中最直观的方法。通过对该视频的多帧进行比较估计，得到它们之间的相对关系信息，以此获得高分辨率视频帧在非均匀间距采样点上的像素值。然后通过非均匀插值的方法，经过一定的插值，就可以得到一幅高分辨率的视频帧。当然，这样得到的视频帧会存在噪音、模糊等问题，因此可以通过图像恢复技术进行一定的修复。2)基于重建。该方法主要有配准和重建两个关键步骤。在配准时，利用多帧低分辨的图像作为数据一致性的约束，这样可以获得其他低分辨率的图像和参考低分辨图像之间的亚像素精度的相对运动。重建时，可以利用图像的先验知识对目标图像进行优化。该方法常见的算法有迭代方向投影、最大后验概率、凸集投影等。3)基于学习。该方法的前提是认为低分辨率的图像完全拥有用于推理预测其所对应的高分辨率部分的信息。这样就可以对一个低分辨率图像集进行训练，产生一个学习模型，这个模型可以计算出图像高频细节信息。目前有以下几种基于学习的代表性方法：Dong等率先将卷积神经网络引入到图像超分辨率问题当中，设计了基于深度卷积神经网络的图像超分辨率复原方法(Super resolution using convolutionneural network,SRCNN)。Kim等在SRCNN的基础上借鉴用于图像分类的VGG网络结构，提出极深网络的图像超分辨率复原方法(Accurate image super-resolution using verydeep convolutional network,VDSR)。与图像分类的极深网络不同，极深网络的超分辨率方法可以用更深网络对低分辨率图像和高分辨率图像之间映射关系建模。VDSR的方法具有20层深层网络，其缺乏层间信息反馈及上下文信息关联，为了解决此问题，Kim等提出了深度递归卷积神经网络的超分辨率方法(Deeply recursive convolutionak network,DRCN)。Christian等将生成式对抗网络用语SR问题,提出(Photo-Realistic Single ImageSuper-Resolution Using a Generative Adversarial Network,SRGAN)。其出发点是传统方法一般处理的是较小的放大倍数，当放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节信息上的真实感。因此SRGAN使用GAN来生成图像中的细节。Bee Lim等提出了用于单一图像超分辨率的增强型深度残差网络(Enhanced Deep ResidualNetworks for Single Image Super-Resolution,EDSR)，是NTIRE2017夺冠论文。