[发明专利]图像分辨率增强

说明书

技术领域

本发明涉及图像分辨率增强，特别地但非排他性地，涉及用于视频序列的帧的分辨率增强。

背景技术

提高图像的分辨率通常称为升尺度(upscale)并且正变得越来越受关注。例如，由于各种高清晰度(HD)电视标准的出现，存在对于用于从标准清晰度(SD)图像产生HD图像的适当方法和算法的需要。例如，离线处理已经被用来从原始SD视频序列产生HD视频序列并且已经开发了能够动态地将SD视频内容实时地升尺度到HD视频内容的电视和DVD播放器等等。

这种升尺度典型地使用插值产生新的像素值，其使用例如双线性或双三次插值或者多相缩放。然而，尽管这样的方法增加了图像中的像素数量，但是它们未在图像中引入新的高频细节并且因而升尺度的图像出现模糊。为了将标准清晰度(SD)视频转换成高清晰度(HD)，需要近似200％的升尺度因子，并且对于这个以及更高的尺度因子，模糊趋向于清晰可见并且是不希望的。

为了减轻或补偿这种感知的模糊，在分辨率增强中经常使用高级非线性技术以便产生具有更详细和鲜明印象的图像。这样的方法包括例如如T.Kondo，和K.Kawaguchi的“Adaptive dynamic range encoding method and apparatus”，美国专利5,444,487，1995年8月，以及T.Kondo等人的“Method and apparatus for adaptive filter tap selection according to a class”，美国专利6,192,161，2001年2月中所描述的使用训练和结构分类而优化的数据相关插值滤波器，如Li和Orchard的“New edge-directed interpolation，”IEEE Transactions on Image Processing 10：1521-1527 2001中所描述的针对边缘的插值技术。这些技术中许多技术的综述和评价可以见诸van Ouwerkerk的“Image super-resolution survey”，Image and Vision Computing 24(10)：1039-1052，2006以及de M.Zhao，M.Bosma和G.de Haan的“Making the Best of Legacy Video on Modern Displays”，Journal of the Society for Information Display--January 2007 Volume 15，Issue 1，pp.49-60。

电视中使用的用于分辨率增强的方法的一个特定实例称为利用峰化的瞬态亮度改进(LTI)。LTI是一种通过在不创建过冲的情况下增大瞬态值，从而在信号中引入新的高频内容而改进边缘锐度的技术。峰化旨在增强信号中已经存在的高频分量，以便赋予图像更鲜明的印象。LTI的描述可以见诸J.Tegenbosch，P.Hofman和M.Bosma的“Improving nonlinear up-scaling by adapting to the local edge orientation”，Proceedings of the SPIE，Vol.5308，pp.1181-1190，Jan.2004以及美国专利US4414564A。

然而，典型地这些方法主要着眼于产生更清晰的边缘过渡，结果，它们倾向于在诸如纹理之类的细节密集区域缺乏足够的增强能力。这种纹理/细节增强的缺乏对于增大尺度因子以及尤其是对于200％以上的尺度因子可能变得更加可见。

例如Wei，L.-Y.的“Texture synthesis by fixed neighborhood searching”，2002以及Ashikhmin，M的“Fast Texture Transfer”；Computer Graphics and Applications，IEEE Volume 23，Issue 4，July-Aug.2003 Page(s)：38-43中提出了用于纹理合成的方法。这些文章中的第一篇公开了基本的基于实例的纹理合成的实例，这是一种旨在基于用作实例的小纹理片扩展图像区域中的纹理的技术。然而，尽管这样的方法对于通过适当的纹理覆盖一定区域是有用的，但是它们并不针对升尺度或者分辨率增强，并且针对将纹理扩展到更宽的区域，而不是提高现有纹理区域的分辨率。第二篇文献公开了称为纹理传递(或者有时称为约束纹理合成)的技术，其中合成通过额外目标图像操控。