[发明专利]时间运动矢量滤波

说明书

本申请是申请号为200410102094、申请日为2004年12月22日、 发明名称为“时间运动矢量滤波”的申请的分案申请。

技术领域

本发明涉及视频和图形处理的改进。

背景技术

在逐行数字显示设备的低显示更新率下(例如，隔行视频材料的 50场/秒，以及原始电影材料的24帧/秒)，可能发生被称为“区域闪 烁”的显示假象。由于人类视觉外围区域对闪烁的高度敏感，随着显 示器尺寸的增大，该区域闪烁越来越可见。降低区域闪烁的简单办法 是通过以更高的速率(例如，隔行视频100场/秒)重复输入场或者帧 来提高显示更新率。这解决了静态场景的区域闪烁问题。但是，在具 有运动的场景中，重复引入了新的假象，已知的是“运动抖动”或者 “运动拖尾”，由于人眼倾向于跟踪运动对象的轨迹，所以尤其在高 对比度的区域容易发生上述的状况。为此，最好存在一个运动补偿帧 内插，其中在一个内插帧或者场中，在本地运动轨迹的中点计算像素， 从而在由于人眼的跟踪所产生的期待图像运动和显示图像运动之间不 存在差异。从一场或者帧向下一场或者帧的本地图像运动轨迹被称为 一个运动矢量。

运动矢量可以在空间分辨率的不同级别上计算，例如在像素级别， 在图像块级别，或者在对象级别。为每个像素独立的计算一个运动矢 量理论上会产生一个理想的数据集，但是由于所需的巨大的计算量， 这是不可行的。为每个图像块计算运动矢量降低了计算量，但是由于 图像块内的运动矢量的不连续可能导致假象出现。以一个对象为基础 计算运动矢量理论上会产生高的分辨率和更低的运算需求，但是对象 分割却是一个存在挑战的问题。

因此，需要一种有效并且精确的确定运动矢量的方法，这样在由 于人眼跟踪造成的期待图像运动与数字视频中的显示图像运动之间没 有或者几乎没有差异。

发明内容

本发明提供用于有效并且精确的确定运动矢量的方法和装置，从 而在由于人眼跟踪造成的期待图像运动与数字视频中的显示图像运动 之间没有或者几乎没有差异。

通常，在一个方面，本发明提供了方法和装置，包括计算机程序 产品，执行和使用用于在数字视频序列中执行时间运动矢量滤波的技 术。接收到几个矢量，这些矢量表示含有一个或者多个对象和背景的 图像块的潜在的运动矢量。矢量被分割成两个或者更多的矢量族。为 每个矢量族确定一个代表矢量。测试每个代表矢量从而确定哪个代表 矢量更精确的反映了数字视频的第一帧和第二帧之间的图像块的移 动。最精确的反映了图像块之间的移动的代表矢量被选择为一个运动 矢量。

优选的执行方式可以包括一个或者多个下列特征。分割包括通过 在矢量中识别彼此相距最远的两个矢量来为第一族确定一个第一源矢 量(seed vector)，和为第二族确定一个第二源矢量，而且对于所有 其它的矢量，如果该矢量最靠近第一源矢量，则将该矢量放入第一族， 如果该矢量最靠近第二源矢量，则将该矢量放入第二族。确定一个代 表矢量包括，对于每个族，确定该族中的哪个矢量与该族中的所有其 它矢量的总距离最小。每个族能够表示数字视频中的一个对象或者一 个背景。每个图像块可以包括几个像素。一个矢量能够表示一个从第 一像素开始，在第二像素结束的陈旧运动矢量，以及从第一像素开始， 与在水平方向上或者垂直方向上不同于第二像素的像素结束的其他矢 量。每个像素块的尺寸可以是8×8像素。

测试每个代表矢量包括，对于每个代表矢量，将第一窗口集中在 形成代表矢量的原点的像素上，将第二窗口集中在形成代表像素的结 束点的像素上，为第一窗口中的像素以及第二窗口中位于相应位置的 像素确定亮度值的绝对差的总和，并且选择最精确的反映了图像块的 移动的矢量作为代表矢量，该代表矢量具有最小的绝对差的和。第一 和第二窗口的尺寸可以与图像块的尺寸相同。

在追加的附图和下面的描述中将详细阐述本发明的一个或者多个 实施例的细节。本发明的其他特征，对象以及优点将通过说明书和附 图，以及权利要求的描述变得清楚明了。

附图说明

图1表明了用于确定一个运动矢量的递归分级处理的流程图。

图2表明了用于在一个视频帧的原始分辨率的1∶4的分辨率下确 定一个最佳的运动矢量的示例矢量。

图3表明了在一个视频帧的原始分辨率的1∶2的分辨率下确定一 个最佳的运动矢量的示例矢量。