[发明专利]鲁棒的超分辨率视频缩放的方法及装置

说明书

技术领域

本发明涉及视频图像的处理，特别涉及通过缩放对视频序列格式进行转换的方法及装置。 

背景技术

视频格式的多样性要求将输入视频的格式适配成显示设备或者传输所要求的格式。在隔行扫描视频中，每个连续图像，也被称为场(field)，在时间上交替提供偶数行(even lines)和奇数行(odd lines)。标准清晰度电视(SDTV，Standard Definition Television)，如NTSC，PAL和SECAM电视格式，都是隔行扫描的。隔行扫描监视器，如阴极射线管(CRT，Cathode Ray Tube)被设计用于显示这些具有偶数行和奇数行隔行扫描的场。逐行扫描视频图像格式在每幅图像中包含了所有行(偶数行和奇数行)。LCD视频监视器就是被设计用来显示这些逐行扫描视频的。因此，对于隔行扫描的输入视频，有必要执行解隔行扫描操作，该操作分别计算隔行扫描视频序列的每个场中缺失的奇数行和偶数行，从而输出逐行扫描视频。一些被采用的高清晰度电视(HDTV，High Definition Television)格式，具有720行的720p逐行扫描格式，或者1080行的1080i隔行扫描格式。典型地，将SDTV视频格式转换到HDTV视频格式需要执行解隔行扫描和改变行数，比如从NTSC格式的486行变为720p HDTV格式的720行。 

视频序列的解隔行扫描和改变行数是一种缩放操作，该缩放操作将定义在隔行扫描采样网格(grid)上的输入视频转换成定义在输出采样网格上的输出视频。解隔行扫描是一种输出采样网格同时包含偶数行和奇数行的缩放。对行数的进一步修正是对输出采样网格作进一步修正。缩放视频需要从定义在不同的输入采样网格上的输入视频的 像素值，在指定的输出采样网格上计算像素值。 

第一种方法是，根据时间点t上的输入视频图像，计算在时间点t上的每个输出视频图像，其方式是通过FIR滤波执行空间插值，从输入采样值计算得到输出网格上的采样。当输入图像是隔行扫描时，以远低于香农采样频率(Shannon sampling rate)的频率对该输入图像进行采样，则插值会产生在结果视频中明显可见的人为失真(artifacts)。方向插值(Directional interpolation)能部分减少这些人为失真，但不能完全杜绝，其原因是无法获取执行插值操作所必需的信息。如果输入图像是逐行扫描的，则增加采样密度也会产生模糊不清的图像。专利号为6,614,489的美国专利提供了该方法的一个例子。 

第二种方法被称为“运动自适应”，当在图像中没有检测到运动时，该方法执行时间插值(time interpolation)，当在图像中检测到明显的运动时，该方法执行空间插值(spatial interpolation)。当出现明显的运动时，由于该方法使用了空间插值，因而会产生与使用空间插值技术时相同类型的人为失真。专利号为5,428,398的美国专利提供了该方法的一个例子。 

第三种方法被称为“运动补偿”，该方法测量图像中的位移，并在时域执行插值操作，其中该插值操作考虑了所测量到的运动。通过合并时域上多个图像的信息，该技术能提高缩放后的图像的空间分辨率，并能恢复出更好的细节。因此这也被称为超分辨率处理。然而，已有的运动补偿技术并不稳定，并会引入可见的人为失真。事实上，精确计算图像像素的位移是非常困难的，特别是对于那些欠采样的隔行扫描图像。当在时间插值时使用这些运动向量时，被遮住而引起的运动不连续性(例如，一个原本在背景中可见的物体，由于在前景中的另一个物体的相对运动而被遮住)，或者诸如灰尘引起的细小运动、或者运动的透明度都会产生引起人为失真的运动估计误差。为了减少这些人为失真，当被测量的运动的可信度不够时，运动补偿的缩放过程执行空间插值。这样，就以引入空间缩放所产生的人为失真为代价，以减少运动补偿技术中引入的运动人为失真。专利号为6,940,557的 美国专利提供了该方法的一个例子。 

现有技术中，没有任何一种视频缩放方法完全利用了由输入视频序列提供的空-时信息，以执行高质量的超分辨率缩放。因此，本发明的一个目的就是，消除或部分减轻前文所述缺陷中的至少一部分，以通过缩放过程对视频序列进行转换。 

发明内容

本发明的一个主要目的是提出了一种对输入视频进行鲁棒的超分辨率缩放的方法及其装置，该发明可以包括解隔行扫描功能。