[发明专利]利用稀疏变换的图像/视频质量增强和超分辨率

说明书

技术领域

本发明总体上涉及图像/视频信号处理。更具体地说，本发明涉及增强图像/视频信号的质量，和/或提高图像/视频信号的空间分辨率。

背景技术

目前，图像和视频信号处理广泛用在许多应用中。常常需要特定分辨率的图像或视频，然而只能获得较低分辨率的图像或视频。在这种情况下，使用多种方法来利用较低分辨率版本的图像创建较高分辨率的图像。这些现有方法包括对较低分辨率图像或视频应用线性或简单的非线性插值滤波器。

使用线性或非线性插值滤波器的例子包括比如在Gonzalez &Woods，“Digital Image Processing”(Pearson Education(第二版))中说明的双线性插值滤波器；在ITU-T Recommendation H.264 & ISO/IEC14496-10(MPEG-4)AVC，“Advanced Video Coding for Generic Audiovisual Services”，版本3：2005年中说明的线性插值滤波器；和在Vatis & Ostermann，“Locally Adaptive Non-Separable Interpolation Filter for H.264/AVC”，IEEE ICIP，2006年10月中说明的不可分插值滤波器。不过，这三种技术中的每一个可适用于具有平滑变化的像素值的图像/视频帧。这是因为这三种技术是利用平滑图像模型得到的，并且滤波器一般局限于低通滤波器。从而，它们并不适用于许多类型的区域，比如倾斜边缘、纹理等。此外，至少就ITU-T Recommendation H.264及Vatis & Ostermann来说，这两种技术只适用于其中使用被移动小部分像素的先前的一帧或多帧来预测当前帧的视频压缩应用。

另外，存在非常简单的基于变换的方法，用于提高图像/视频的分辨率，不过需要大量的迭代。在Guleryuz，“Predicting Wavelet Coefficients Over Edges Using Estimates Based on Nonlinear Approximants”，Proc.Data Compression Conference，2004年4月中说明了一个这样的例子。

不过，这种技术局限于并不适用于倾斜边缘和纹理的具有各种简化的块变化，并且涉及基本方法的多次迭代以获得良好的质量，从而复杂性惊人地昂贵。

发明内容

这里公开一种用于质量增强/超分辨率技术的方法和设备。在一个实施例中，所述方法包括接收第一分辨率的第一版本的媒体，和利用至少一种变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。

附图说明

根据下面给出的详细说明，以及根据本发明的各个实施例的附图，将更充分地理解本发明，不过，所述各个实施例不应被理解成把本发明局限于具体实施例，相反只是为了说明和理解。

图1A是进行媒体的质量增强/超分辨率的处理的一个实施例的流程图。

图1B是系统的方框图，图解说明质量增强/超分辨率技术的一个实施例对于压缩视频的应用情形。

图1C是系统的方框图，图解说明质量增强/超分辨率技术的一个实施例对于非压缩视频的应用情形。

图2是增强质量和/或提高分辨率的处理的一个实施例的流程图。

图3是上采样处理的一个实施例的流程图。

图4A-4M图解说明与子帧类型库对应的遮罩(mask)的例子。

图5表示当按光栅扫描顺序对像素编号时在像素I处的例证子帧z_i。

图6是子帧选择处理的一个实施例的流程图。

图7是子帧的变换选择处理的一个实施例的流程图。

图8是阈值化变换系数的阈值化处理的一个实施例的流程图。

图9图解说明单调递减的阶梯函数。

图10是组合子帧以形成帧的处理的一个实施例的流程图。

图11是数据一致性操作的一个实施例的数据流图。

图12是例证的计算机系统的方框图。

图13A-E图解说明所选像素的样本子集。

具体实施方式