[发明专利]用于稳健视频时间配准的系统和方法

说明书

相关申请的交叉引用

本申请要求于2007年4月16日提交的题为Systems and Methods for Robust Video Temporal Registration的美国临时申请No.60/912,167的优 先权，该申请通过引用结合到本文中。

技术领域

本发明的实施例涉及视频测试和测量设备，且更具体地涉及用于 视频的图像质量测量。

背景技术

由诸如俄勒冈州比弗顿的Tektronix公司提供的图像质量分析器 (PQA 200和PQA 300)之类的产品执行的全参考视频质量测量和分析使 用时间配准。利用时间配准，播放测试视频序列中的每个帧与播放参考视 频序列的相应帧同时进行。由于视频格式和装置的激增及在帧速率和时间 失真或损伤方面的相关激增，用于图像质量测量和分析准备步骤的该前提 已变得更加难以手动执行，且现有技术的自动化方法并不总是起作用。

在涉及用于空间失真测量的自动方法的现有技术中，所述方法忍 受着以下缺点中的一个或多个： 1)在除1.0之外的帧速率比率上不稳健； 2)给定诸如丢失帧和帧冻结之类的时间失真(该丢失帧和帧冻结两 者均具有信道延迟方面的相关的突然且局部静态的变化)，未给出1对1 的测试和参考；或者 3)不能跨越参考和测试之间(即例如HD相对SD(HD vs SD))的 帧分辨率差及其它空间配准问题来工作。

如通过引用结合到本文的Jiuhuai Lu的题为“Fast Video Temporal Misalignment Estimation”的美国专利No.6,751,360中所给出的那样，现有 技术的示例表现不好，即使除了一个是另一个的帧重复版本之外视频是相 同的。使用帧差的相关性作为帧提取(distillation)的主要或唯一手段的方 法遭受“斩波器(chopper)”效应(其中帧差对于重复则为0，但对于非 重复则不为0)，结果得到对应于图3的相关性。在图3中，帧重复引起 每隔一个帧的零差(zero difference)(对应于暗水平线)和针对甚至最佳 匹配的弱相关性。

期望具有自动化方法以线性地且逐个帧地测量时间映射以及测 试视频序列与参考视频序列之间的相应的时间损伤(诸如冻结帧和空白 帧)。特别地，期望具有一种在存在数字压缩伪影(compression artifact)、 随机噪声、量化误差及其它非线性和线性失真和干扰的情况下稳健的测量 方法。期望此方法具有适应性以便在没有视频内容的先验知识的情况下工 作，所述先验知识诸如目前用于PQA300的增加到视频信号上的Tektronix 专有条纹、所选的纵横比、DUT像素时钟、帧速率、或通常可能的视频参 数的其它指示(包括相对空间映射、水平或垂直缩放、偏移(位移)或裁 切)。

最后，期望所述方法既具有良好的精确度又具有良好的计算效 率。计算效率指的是对于给定精确度而言相对低的处理水平。

发明内容

因此，本发明的实施例提供用于在没有各信号参数的先验知识的 情况下在测试和参考视频信号之间的稳健视频时间配准的系统和方法。所 述测试和参考视频信号两者被提取(distill)成各自的帧提取测量和子图像。 使用局部皮尔森互相关系数(local Pearson’s cross-correlation coefficient) (LPCCC)图像来线性地校准(align)帧提取测量以获得最佳校准线 (alignment line)，该最佳校准线的每个像素表示测试和参考视频信号的 帧之间的LPCCC互相关系数。对于低于阈值的最佳校准线的每个像素， 在LPCCC图像中执行对更高互相关系数的垂直搜索以作为最佳互相关系 数，从而实现测试视频信号的帧到参考视频信号的帧的时间映射。如果任 何帧对的最佳互相关系数小于阈值，则通过空间地校准子图像来进行进一 步的搜索以获得新的最佳互相关系数。最后，如果由于新的最佳互相关系 数小于阈值而期望进一步的搜索，则空间地校准来自LPCCC图像的概要 (summary)行和列一维图像，以找到最高的相关系数。然后使用最高相 关系数来在时间上(temporally)映射测试和参考视频信号以产生测试和参 考视频帧对的阵列。

当结合所附权利要求和附图阅读时，由以下详细说明可清楚本发 明的目的、优点及其它新颖特征。

附图说明