[发明专利]基于压缩域的视频超分辨率方法

说明书

技术领域：

本发明涉及一种适用压缩域的视频超分辨率方法，得到的超分辨率图像保持 边界清晰，同时抑制编码噪声和“振铃”效应。这种方法充分利用了压缩码流中 的信息，且同时解决校准、插值、复原和后处理等问题。可以应用于各种MPEG4 格式的压缩视频。

背景技术：

由于成像设备自身限制、数据压缩算法和传输错误等方面的原因，实际应用 中能够得到的视频图像分辨率常常满足不了高清晰度的要求。为了解决这一问 题，人们提出了序列图像的超分辨率算法，从多幅质量较差、分辨率较低的图像 重构出单幅质量更好、分辨率更高的图像。

目前国内外解视频超分辨率的方法主要可以分为空间域和变换域两大类。 空间域方法是先将压缩视频解压缩，再使用空间域的传统超分辨方法。其缺点是 量化误差信息被丢失，效果不好，尤其压缩比较高时。基于压缩域重建的方法主 要是对成像模型和空域噪声/压缩噪声进行建模，需要完整地考虑成像过程，压 缩过程，运动估计以及块效应、振铃效应等多个方面的影响。当活动窗口内帧间 的运动较简单时，尤其是全局运动，现有的一些超分辨率方法效果挺好的。但是， 当活动窗口内帧间的运动较复杂时，这些方法会引入新的噪声，尤其是运动物体 部分，且“振铃效应”明显。分析其原因，是由于活动窗口内的所有帧所有像素 点都参加了超分辨率运算。但事实上，有些窗口内的低分辨率图像像素点并不能 通过目标帧的运动补偿被观察或预测到。

发明内容：

本发明要解决的是现有技术中存在的上述问题，旨在提供种新颖的基于压缩 域的视频超分辨率方法。

解决上述问题采用的技术方案是：基于压缩域的视频超分辨率方法，其特征 在于包括如下具体步骤：

1)对输入的压缩视频进行解压缩，得到低分辨率的视频图像、量化矩阵、量化 后的变换域系数、运动补偿后的预测视频图像、以及运动矢量信息；

2)对从自然场景到压缩视频的过程进行建模，建立低分辨率图像和相应高分辨 率图像之间的关系：高分辨率图像通过模糊、下采样、压缩和解压缩得到低 分辨率图像；建立运动补偿后的预测视频图像与对应高分辨率图像间的关 系；

3)由上面建立的低分辨率图像和相应高分辨率图像之间的关系可以建模条件 概率：在高分辨率图像已知的情况下，得到低分辨率图像的概率使用量化噪 声的分布来建模，所述化噪声的分布符合高斯分布；

4)对上面量化噪声的协方差矩阵进行建模：先求解变换域的协方差矩阵：由量 化矩阵可以得到，再将变换域的协方差矩阵转换成空间域的协方差矩阵；

5)对在高分辨率图像已知的情况下，得到预测视频图像的概率使用运动估计引 入量化噪声的分布来建模，所述运动估计引入噪声的分布符合高斯分布。

6)对上面运动估计引入量化噪声的协方差矩阵进行建模，先求解变换域的协方 差矩阵：由量化矩阵和变换域系数可以得到，再将变换域的协方差矩阵转换 成空间域的协方差矩阵；

7)建模高分辨率图像的先验概率：对图像的梯度分布用广义拉普拉斯分布来拟 合，使超分辨率图像的梯度分布尽可能接近解压缩后的低分辨率图像的梯度 分布，而且超分辨率图像应该是平滑的，没有“块效应”；

8)使用贝叶斯模型MAP框架估计暂时的单幅超分辨率图像；

9)使用梯度下降来求解得到暂时的单幅超分辨率图像，超分辨率图像的初始值 为双线性插值放大后的图像；

10)使用鲁棒性强的光流法来估计各单幅超分辨率图像和待处理单幅超分辨率 图像之间的运动位移，作为各高分辨率图像和目标高分辨率图像之间的位移 初始值；

11)建立当前窗口内的各低分辨率图像与目标高分辨率帧之间的关系：目标高分 辨率图像通过运动位移/模糊/下采样/压缩/解压缩来得到当前窗口内的各 低分辨率图像；

12)由当前窗口内的多帧暂时的单幅超分辨率图像，结合7)中的先验概率，使 用IRLS(迭代重加权最小二乘法)来构建目标函数，从而削弱离群点和噪声 的影响；

13)使用循环坐标下降来得到最终的超分辨率图像：先假设超分辨率图像已知， 使用梯度下降法分别更新各运动位移；然后在求得的位移基础上，用梯度下 降法重新求超分辨率图像，如此循环迭代，直至收敛；

本方法只超分辨率亮度分量，色度和色差分量只是双线性插值所得。