[发明专利]运动估计系统中的外部矢量

说明书

技术领域

本发明涉及一种用于在视频序列中使用的运动估计的方法和设备，并且，更具体地，涉及一种与从外部源引入候选运动矢量相关联的方法。

背景技术

在各种视频技术中使用运动估计，并且许多用于运动估计的方法是公知的。在本文档中，出于说明的目的，将使用一种被称为基于区块的运动估计的常用方法。

基于区块的运动估计通常从视频序列中取两个或更多个连续帧，并将它们细分成多个被称为区块或宏区块的区域。在运动搜索过程中，将帧中的每个区块中的像素数据与来自先前帧中的各个候选位置的像素数据进行比较。提供（give）最好的（best）匹配的候选者的相对位置提供了描述在所述区块位置处的场景中的运动的矢量。共同地，帧中的每个区块位置处的运动矢量的集合被称为所述帧的运动矢量场。

视频序列通常包括视频数据的一系列非交错帧、或视频数据的一系列交错场。由携带显示器的交替行（alternate line）上的数据的场来生成交错序列，使得第一场将携带用于交替行的数据的，以及第二场将携带用于丢失行（missing line）的数据。从而场在时间和空间上间隔。序列中的每个交替场携带相同的空间位置处的数据。

图1示出了匹配运动估计量的区块的典型示例。在所有的图中（包括图1），运动矢量显示为箭头的头部在所述矢量所对应的区块的中心处。帧被分成区块，以及先前帧中的对象101已经移到当前帧中的位置102。被叠加在当前帧上的对象的先前位置被显示为103。对区块而不是对象执行运动估计，其中当前帧中的像素区块与不是必须和区块对齐的先前帧中的区块大小的像素区域相匹配。例如，区块104由移动的对象102部分重叠，并且具有如在105处所示出的内容。对区块104的运动估计如果执行地很好，则会在先前帧中找到像素数据区域106，即，发现了良好的匹配，其中所述像素数据区域106也被看成包括105中所示的像素。向当前帧上叠加回来，匹配的像素数据区域位于107处。从而，由箭头108示出和区块104相关联的运动矢量。

许多基于区块的运动估计量通过使用诸如绝对差（SAD）的和或平方差（MSD）的均值测试用于区块的运动矢量候选者的集合来选择其输出运动矢量，从而识别提供最低误差区块匹配的运动矢量。图2示出了当前帧中用于区块201的候选者评估过程，其中所述当前帧具有211中所示的像素内容。在该简单的示例系统中，考虑了三个运动矢量候选者206、207和208，该三个运动矢量候选者206、207和208对应于先前帧中的位置202、203和204处的候选像素数据区域。这些像素数据区域的像素内容可以分别在212、213和214中看到。显然，位置202处的像素数据提供对区块201的最好的匹配，从而应该被选作最好的匹配/最小差候选者。向当前帧上叠加回来，匹配的像素数据区域在205处，以及相关联的运动矢量为206。

不同的系统具有不同的运动估计的需求。例如在视频编码器应用中，所述需求是要通过使用从来自序列的先前帧到参考像素数据的运动矢量来形成帧的最紧凑的表示。这些运动矢量通常专注于提供到像素数据的区块的“最接近匹配”（或最小剩余误差），以及同时产生的运动矢量通常表示场景中对象的实际运动，不需要这总是该情况。在其他应用中（诸如去隔行（de-interlace）或帧率转换），其中帧中的对象必须在其在源帧中的位置之间的中间位置处插入，更重要的是运动矢量表示场景中对象的“真实运动”，即使视频中的其他失真意味着那些矢量不是总给出像素数据的区块之间的最接近的匹配（或最小的剩余误差）。必要时通过在运动搜索期间对候选运动矢量施加合适的约束，结果可以被导向“最接近匹配”或“真实运动”。

可以使用计算资源的完全不同的等级来生成运动估计和产生的矢量场。广播设备（broadcaster）使用的编码器或用于电影发行（distribution）的编码器例如可以贡献重要的计算资源或扩展的离线处理时间，以生成最高质量的矢量场。相反地，许多客户等级的视频管线，尤其是手持装置中的视频管线，必须实时操作并且在分配给运动估计的计算资源量（即，带宽、功率和时间）上具有显著的限制。因此，在这些系统中，应用穷举搜索和集中（intensive）优化过程是不切实际的，并且这通常导致次优运动矢量场产生。