[发明专利]基于关键帧和非局部约束的视频超分辨方法

说明书

技术领域

本发明属于视频图像处理技术领域，具体的说是一种对低分辨率的视频进行超分辨的方法，可用视频图像的增强或恢复。

背景技术

视频超分辨技术是为了获得更准确的视频信息，通过多种技术手段提高视频的清晰度，抑制噪声的一门学科。它是视频图像处理中重要而又富有挑战性的研究内容。对于视频超分辨问题，研究者已经提出了很多方法。

2008年Brandi et al.等人提出了一个有效的视频超分辨的方法，在传输压缩视频的时候传输几帧原始未压缩的图像作为关键帧，将这几帧关键帧作为数据库，因为与非关键帧有很大的相似度。因此非关键帧在这几个关键帧中配对时，配对出错率会大大降低，从而提高超分辨率算法的鲁棒性。见F.Brandi,R.De Queiroz and D.Mukherjee,”Super Resolution of Video Using Key Frames”,in IEEE ISCAS,May2008,pp.1608-1611.。输入的视频序列中包含高分辨率帧和低分辨率帧，其中定义包含高频信息的几帧为关键帧，其余帧仅包含低频信息为非关键帧,将关键帧与非关键帧独立编码。对关键帧进行处理，得到相应的高频信息和低频信息，找到关键帧与非关键帧的低频信息的对应关系，直接将关键帧的高频信息加到非关键帧中，实现直接运动补偿。但是，这个方法由于是传统的基于全局运动估计搜索方式，很难找到真实的运动向量，因此在运动补偿后会引起块效应而降低视频图像效果。

2010年，C.S.Byung在Brandi的方法上进行了改进，见C.S.Byung,J.Shin-Cheol and C.Yanglim,”Key frame-based video super-resolution using bi-directional overlapped block motion compensation and trained dictionary”,in IEEE IPTA,July2010,pp.181-186.在视频中传输几帧包含高频信息的关键帧，通过相邻的关键帧，经过双向运动估计及运动补偿，从而实现非关键帧的超分辨。其中所采用的运动补偿方法是重叠块的运动补偿，来寻找匹配的高频信息。相对于Brandi的直接运动补偿，效果更好点，高频信息的添加也精确一些，但是在运动补偿时，对匹配准则的要求很高，且添加的高频信息有限，造成视觉效果质量下降。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于关键帧和非局部约束的视频超分辨方法，以对视频中每一帧低分辨率图像，在不需要精确地匹配准则下能够获取更多的高频信息，更好的恢复低分辨率图像的高频信息，进而获得边缘清晰，视觉效果好的高分辨率视频。

为实现上述目的，本发明的技术步骤包括如下：

(1)输入视频X，提取其中的每一帧图像，得到高分辨率图像帧X_h,h＝1,...,M,和低分辨率图像帧X_t,t＝1,...,N,并定义这些高分辨率图像为关键帧，定义这些低分辨率图像为非关键帧，其中M为视频中高分辨率图像的帧数，N为视频中低分辨率图像的帧数；

(2)利用视频中高分辨率图像帧与低分辨率图像帧的关系，对低分辨率图像帧X_t中的任意一帧图像进行超分辨重建：

2a)对任意一帧低分辨率图像S进行双三次插值放大，放大因子λ＝2,获得低分辨率放大图像Y_o；

2b)通过高通滤波器对距离低分辨率图像S最近的一帧高分辨率图像进行滤波，将该高分辨率图像分解为高频分量X_p和低频分量X_o；

2c)在低频分量X_o中提取低频图像块U为低频图像块的数目，在低分辨率放大图像Y_o中提取放大图像块K为放大图像块的数目；

2d)对提取的低频图像块X_o^j进行k-means聚类，将其分成50类，得到每一类的聚类中心；

2e)用放大图像块Y_oⁱ与上步获得的聚类中心作比较，找到与其最为相似的那一类，并在这一类中找到与放大图像块Y_oⁱ最相似的3个近邻低频图像块q为最相似的近邻块的数目；