[发明专利]运动矢量场重定时器

说明书

技术领域

本发明涉及针对视频资料的运动补偿的帧速率转换技术。更具体地，本发明的实施例涉及一种使用内插技术的算法，该算法减少了与运动视频图像相关的“晕圈(halo)”伪像。

背景技术

现代电视机必须根据原始画面速率各异的多种源来显示视频资料。世界上的不同地区正在使用不同标准。例如，在欧洲显示50个图像/秒，在世界其它地区如美国，显示60个图像/秒。使用摄像机无法记录所有可见资料。例如，以24个渐进帧/秒记录电影。在60(50)Hz电视上显示这种电影的最简单的方式是重复图像。在美国，为了实现60个图像/秒，将电影中的每个图像显示3或2次；这被称为3：2帧间距(pull down)。在欧洲，将每个图像显示两次；这被称为2：2帧间距。为了实现50个图像/秒，以较快速率播放24Hz电影。不幸的是，这些简单的解决方案导致了图像质量的恶化。由于图像在重复，因此所拍摄的运动对象的图像重复将随着运动和静止而改变。图像重复的结果是观众将观察到运动不规则或停停动动的对象。通常将该伪像称为“运动抖动”或“胶片抖动”。图1示出了运动球10的示例。该球的运动被以25Hz而记录，但是因为必须显示50个图像/秒，所以将每个图像显示两次。因此，产生的画面在同一位置分两帧11、12来显示该球，然后球在一个帧13中运动，随后静止，等等。

为了解决运动抖动问题以及为了使对象的运动更加平滑，计算并使用内插图像，来取代使用重复的图像。该内插图像需要图像中的每一个对象或像素根据其自身运动而被移动。这被称为运动补偿的时域上变换。对于运动球的示例，这意味着，对于内插图像，如图2所示地将该球放置在运动描绘的线上。内插图像的一个问题是，如果未能正确地计算内插图像，则可以创建与运动对象相关的所谓的“晕圈”伪像。晕圈伪像是运动对象周围的可视拖影。

当前存在几种用于解决晕圈伪像问题的解决方案。当对象从另一对象之后出现时，或者如果对象消失在另一对象之后，则该对象(或对象的一部分)仅可用于两个图像之一。由此，估计器无法找到适当的匹配，因此像素运动的矢量是不可靠的。此外，如果该矢量是正确的，则由于像素之一可能已经是错误的，所以内插像素也可能是错误的。这些问题导致的结果是，背景中靠近运动对象的大部分时间部分以前景速度运动。这导致并且看似对象周围的“晕圈”。

在大多数情况下，前景矢量(前景运动对象中的像素的矢量)将与前景对象相重叠。这是因为背景矢量在一侧指向前景对象并在另一侧指向背景，而前景矢量在这两个图像中都指向背景。尽管矢量指向背景的两个不同部分，但是它将给出优于背景矢量的匹配。(与背景中的一部分和前景中的一部分相比，背景中的两个不同部分通常更为相似)。

图3示出了运动球示例中的遮挡问题。另一个球(大球15)正在以不同于小球16的速度和方向运动。在画面n+1中，小球16消失在大球15之后。当小球16在大球15之后时，运动估计器无法从画面序号n到n+1中找到小球16的运动。因此，不清楚必须将小球16放置在内插图像(n+1/2)中的哪个位置。

为了解决晕圈问题，Philips Research开发了第一种算法。该算法已知在Philips Research名为puma/cobra算法。该puma/cobra算法包括两个部分，运动估计器(PUMA)和时域上变换器(COBRA)。由于该背景讨论与将时域上变换器映射到可编程平台上相关，用于实现视频处理算法，将对该运动估计器进行简要描述。主要将关注时域上变换器。

运动估计器可以基于3D递归搜索块匹配算法。在过去，运动估计是以时间位置进行的。也就是说，针对要内插的画面中的每个块来分配运动矢量。该方法在遮挡区域具有问题，因为在遮挡区域中，图像信息仅在两个图像之一中可用。图4示出了前景和背景中的内插位置(n+α)，可以发现校正运动矢量。然而，在遮挡区域40中，无法发现校正运动矢量，因为背景44中的一部分消失在前景42对象之后。在遮挡区域中，因为前景矢量46将背景中的一部分与背景中的另一部分匹配，而背景矢量48将背景中的一部分与前景中的一部分匹配，所以得到前景矢量的概率较高。

当以后向方式从当前位置执行运动估计时，不存在覆盖问题，因为对于当前帧中的所有块，可以发现先前帧中存在匹配块(见图5A)。但是对于图5A中的未覆盖区域50，未覆盖成为问题，因为可以在先前帧中发现良好的匹配。另一方面，当以前向方式从运动像素的当前位置进行运动估计时，不存在未覆盖问题，而是存在覆盖52的问题(见图5B)。