[发明专利]运动补偿的视频空间向上转换

说明书

技术领域

本发明主要涉及视频处理。本发明尤其涉及视频处理中使用运动补偿的视频空间向上转换。

背景技术

视频空间向上转换(V-SUC，video spatial up-conversion)也称为视频分辨率增强。V-SUC用于通过水平和垂直空间内插二者增强任意视频序列的空间分辨率。视频空间向上转换是视频格式转换(VFC)的一个方面，在其中视频信号从一种格式转换为另一种格式。VFC的两个典型方面是视频去隔行(deinterlacing)，也称为视频扫描速率向上转换，和视频图片速率向上转换。去隔行包括通过垂直方向的内插增强视频信号的空间分辨率。视频图片速率向上转换通过时间内插来增强视频信号的图片速率(也称为帧速率)。

在移动电话捕获的视频的TV输出中，需要视频空间向上转换。典型的NTSC TV空间分辨率为640×480或者800×576。相反地，由传统的移动电话所捕获的视频典型具有的空间分辨率为SIF(320×240)、CIF(352×288)或QCIF(176×144)。因此，移动电话捕获的视频在常规TV设备中显示之前，需要增强空间分辨率。另一视频空间向上转换的例子包括标准清晰度TV(SDTV)信号在高清晰度TV(HDTV)设备中的显示。

视频空间向上转换在空间分辨率增强的处理中，主要需要完成两个任务：抗混叠和高空间频率发生，以克服过平滑(over-smoothness)伪像(artifact)。

通过原始连续视频信号的三维(3D)采样，获得数字视频信号。例如，Δx、Δy和T可分别表示水平方向、垂直方向和时间方向中的采样距离，限定了3D采样栅格。在这种情况中，数字视频信号的傅里叶谱是沿着3D采样栅格的连续视频信号的傅里叶谱的多个复制(replication)的集合，该3D采样栅格由采样频率和限定，其中和fst=1/T.]]>集中在坐标(0，0，0)处的复制称为基带谱。如果原始连续信号是带宽受限的，并且分别表示为和的各个方向上的最大频率满足下面的约束，即和fmaxt≤fst/2=1/(2T),]]>那么连续信号可由它的3D样本完全恢复。然后理想的内插过滤对应于全通基带谱，并且其他复制为零输出。如果违反了上述约束，那么邻近的谱复制将会彼此重叠，造成混叠。

当对连续视频信号进行采样时，首先应用抗混叠过滤，以便去除所有大于各个采样频率的一半的频率，避免混叠的问题。但是，对于由相机捕获的渐进扫描视频来说，情况却不是这样的。已经知道，在水平和时间两个方向的采样是与相机结合的扫描格式的部分。因此，在相机的光程中需要理想的抗混叠，这在实现起来特别困难，也特别昂贵。因此，如图1所示，混叠通常出现在f_y-f_t频率空间中。在f_y-f_t频率空间中，谱支持的程度由场景垂直细节确定，而谱定向由垂直运动确定。

当对数字视频信号进行向上采样(upsample)时，理想的内插滤波器将全通没有混叠的基带谱，同时尽可能地抑制混叠部分。如图1(b)中所示，如果存在垂直运动，则应当运动补偿用于内插的理想的低通滤波器，以有效地提取没有混叠的基带谱。