[发明专利]一种基于低秩先验信息的混合分辨率多视点视频超分辨方法

说明书

一种基于低秩先验信息的混合分辨率多视点视频超分辨方法，属于图像和视频处理技术领域。混合分辨率多视点视频是由多路多视点视频组成，包括多路低分辨率视频和多路高分辨率视频，所提出的超分辨率方法的目的是利用高分辨率视频的纹理等信息来重构低分辨率视频，同时将图像\视频的低秩先验作为约束条件。该方法提出了一种新的混合多视点超分辨的方法，该方法考虑到多视点视频间包含着许多相似的信息，该方法基于流形嵌入的思想充分利用高分辨率视频的纹理等信息，同时利用低秩先验信息来抑制噪声。该方法充分利用了高分辨率视频的纹理等信息，同时有效的抑制了噪声，有效地对低分辨率视频进行了重构。

技术领域

本发明属于图像和视频处理技术领域，特别涉及到一种基于低秩先验信息和流形嵌入的多视点视频的超分辨方法。

背景技术

3D电影\游戏、虚拟现实等技术都会涉及到多视点视频，但是由于硬件和带宽等的限制，往往多视点的多路视频不都是高分辨率的，而通常都只能获取既包含高分辨率也包含低分辨率的多路混合多视点视频。当获取混合多视点视频后，为了满足某些需要，就需要基于获取的混合多视点视频来重构其中的低分辨率视频，也就是为低分辨率视频作超分辨重构。

图像\视频超分辨是计算机视觉中的基本任务，其目的是由给定的低分辨率图像\视频重构出对应的高分辨率图像，使重构效果尽量符合高分辨率图像的质量和视觉要求，在传统的超分辨重构的过程中通常基于一定的先验知识，如梯度、几何、稀疏、低秩等。超分辨任务可以分为单图像超分辨和多图像超分辨。通常，单图像超分辨基于一定的先验知识对低分辨率图像进行重构，由于除了低分辨率图像外没有其他图像信息可以利用，所以重构效果取决于是否可以有效地利用先验知识。2010年Yang等人利用自然图像的稀疏先验[1]，在数据集上训练有关低分辨率和高分辨率图像对的字典，然后基于训练字典对低分辨率图像进行重构，2015年Huang等人利用图像自身的多尺度相似图像块对低分辨率图像进行重构[3]。近几年，随着深度学习的快速发展，卷积神经网络(ConvolutioanlNeuralNetworts,CNN)被用于解决图像超分辨问题，C.Dong等人第一次将CNN用于解决图像超分辨问题[4]，效果有很大的提升。随后，更加复杂的生成对抗网络(Generating adversarialnetworks,GAN)和残差网络(Residual Networks,ResNet)用来对低分辨率图像做超分辨，C.ledig等人将GAN用于超分辨[6]，虽然传统的重构质量评测指标PSNR和SSIM在该方法中的数值不是很高，但是视觉效果比一些评测指标高的超分辨方法要好，所以该方法的主观评测数值很高，B.Lim等人将ResNet用于超分辨[7]，虽然减少了参数量，但是还是需要很长的训练时间。为了学习更加抽象的特征，J.Kim等人使用更深层的CNN[8]，虽然得到了更好的重构效果，但是网络复杂度和网路参数都会大大提高，从而增加训练时间。基于深度学习的方法虽然取得了一定效果，但是需要大量的训练数据和很长的训练时间。

当输入为多路混合多视点视频时，如何有效地利用高分辨率视频是关键问题。T.Richter等人2016年在IEEE Transactions on Image Processing上发表了一篇基于混合多视点视频加深度信息的超分辨工作[10]，该工作利用RGB图像与深度图将高分辨率视频信息转移到低分辨率图像中，从而达到重构的目的。该方法的效果在很大程度上取决于深度图的质量，当深度图像不是很准确性时，重构效果会受到很大影响，而且还需要考虑没有深度图的情况。

发明内容

本发明目的是解决现有混合多视点视频重构方法存在的十分依赖深度图的问题，提出一种有效的重构方法。该方法只使用输入的多路多视点RGB图像，而不需要深度图像，来重构低分辨率视频，同时提出一种基于梯度的混合多视点质量评测方法。

本发明的技术方案

基于低秩先验的混合多视点视频的超分辨方法，该方法充分利用多视点视频间的相似的，利用高分辨纹理来重构低分辨纹理，同时利用低秩先验信息来抑制块噪声。具体包括以下步骤：