[发明专利]基于凸优化理论的视频联合去噪及超分辨率方法和系统

说明书

技术领域

本发明涉及计算摄像学领域，特别涉及一种基于凸优化理论的视频联合去噪及超分辨率方法和系统。

背景技术

近年来，信号相关噪声的去噪及图像超分辨率一直都是计算摄像学和计算机视觉中的研究热点。

传统去噪方面的研究主要集中于与信号无关的噪声去噪，但是这与实际的拍摄系统不相符。Alessandro Foi等人的研究表明，原始信号与CCD拍摄噪声均值之间存在平方关系。现在信号相关的去噪越来越成为计算机视觉与计算摄像学中的研究热点。下面列举一些主流的与信号相关的去噪方法：

（一）、Danielyan与G.Boracchi等人提出的将原始图像中的像素块通过信号变换转换至频域进行去噪处理。

（二）、Li Zhang与Sundeep Vaddadi等人提出的运用主成分分析与张量分析的方法实现多张噪声图像的去噪。

（三）、Keigo Hirakawa与Thomas W.Parks等人将原始信号看作一系列噪声像素块的组合，提出一种概率型的去噪方法。

图像超分辨率方面已经有许多较为成熟的方法，总的来说可以概括为基于空域内插、基于频域处理、基于正则化和基于学习基四大类。与其余三类方法比较，基于学习基的方法在输入图像和优化模型方面具有较少的约束限制。最近的研究结果表明，自然图像像素块可以用一组过完备基和稀疏线性矩阵重建表示，因此基于学习基的方法需要学习一组低分辨率的过完备基和对应的一组高分辨过完备基用于超分辨率。由于需要较少的约束条件，目前此方法吸引了越来越多研究者的兴趣。Emmanuel Candes、Jianchao Yang和Jinjun Wang等人已成功验证了此方法的可实施性。

在高速摄像与高帧率视频中，高噪声与低分辨率一直是两个最需解决的问题。如何同时解决这两个问题十分关键。在噪声为高斯分布假设下，Yi Xu与M.B.Chappalli等人首先将信号转换到频域，并利用频域方法完成了图像去噪与超分辨率。Dekeyser等人利用空域方法同时对图像进行了去噪与超分辨率。

但是，目前还没有人提出一种有效的方法，可以对含有信号相关噪声的图像与视频同时进行去噪与超分辨率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的一个目的在于提出一种基于凸优化理论的视频联合去噪及超分辨率方法，可以有效对进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，视频优化效果明显。

本发明的第二个目的在于提出一种基于凸优化理论的视频联合去噪及超分辨率系统。

为达到上述目的，本发明第一方面的实施例提出了一种基于凸优化理论的视频联合去噪及超分辨率方法，包括以下步骤：根据稀疏编码理论，基于图像块，从多个清晰图像中学习，得到一组过完备低分辨率基和过完备高分辨率基；分别建立关于噪声、重建系数矩阵和原始信号的约束式；根据所述约束式建立目标函数；利用增广拉格朗日优化方法对所述目标函数求解，得到所述原始信号和所述重建系数矩阵；利用所述重建系数矩阵和所述过完备高分辨率基进行超分辨率操作，得到去噪后的清晰高分辨率视频。

根据本发明实施例的基于凸优化理论的视频联合去噪及超分辨率方法可以有效对高帧率视频同时进行信号相关去噪与超分辨率操作，得到清晰图像与视频，算法通用性强，对自然场景下的高帧率视频都适用，在优化过程中同时做到信号相关去噪与超分辨率，减少了偏差迭代的可能性，视频优化效果明显好于其他方法，本方法以稀疏编码理论、凸优化理论为支撑，从软件方面较好地解决高速相机拍摄视频噪声高、带宽小的问题。

在本发明的一个实施例中，所述得到一组所述过完备低分辨率基和所述过完备高分辨率基进一步包括：从多个所述清晰图像中选出多个像素块，采用sparse coding在多个所述像素块中学习，得到所述过完备低分辨率基和所述过完备高分辨率基，其中，多个所述清晰图像包括多个高分辨率图像和对应的低分辨率图像。

在本发明的一个实施例中，根据所述过完备高分辨率基和所述过完备低分辨率基，利用所述重建系数矩阵重建得到对应的所述低分辨率图像和所述高分辨率图像。

在本发明的一个实施例中，所述过完备低分辨率基和所述过完备高分辨率基在统计意义下对自然场景普适。

在本发明的一个实施例中，所述根据所述约束式建立所述目标函数进一步包括：对所述原始信号利用光流算法通过相对位移进行光流对齐，得到拍摄数据。

在本发明的一个实施例中，所述约束式包括：所述拍摄数据由原始信号和拍摄噪声组成。