[发明专利]用于在视频比特流和输出视频序列之间的时间同步的方法和装置

说明书

技术领域

本发明涉及用于将视频解码器的输入视频比特流与由视频解码器解码的所处理视频序列同步的方法和装置。

背景技术

最近几年间视频通信应用的激增使鲁棒性视频质量测量的发展成为必要，从而评估由用户感知的服务质量来定义的体验质量（QoE）。视频质量评估是用于使内容提供者高效地设计、规划和监控服务的重要方面。

如今，混合视频质量评估模型/系统使用包信息、比特流信息和解码的重构图像的组合。通常，在混合视频质量评估算法中，将从比特流中提取或计算的特征（例如，动作向量、宏块类型、转换系数、量化参数等），和由包标头提取的信息（例如，比特率、包丢失、延时等）与从像素域中的输出重构图像中提取的特征相结合。然而，如果由于时间同步的丢失，前者的特征与后者的特征不时间上对应，那么质量的评价会不准确。因此，在每个混合视频质量评估算法中的第一步都是将视频比特流与解码的重构图像同步。

图1中示出了混合视频质量评估系统的框图。在最终用户侧，探测器装置获取进来的比特流，并且随后为了提取和计算一些特征而分解并分析该比特流。这些特征输入至负责使视频比特流与输出视频序列时间同步的模块。

此外，例如机顶盒（STB）的解码装置将收到的比特流解码并且产生由输出装置显示的处理视频序列（PVS）。PVS也输入至使其能够与视频比特流时间同步的负责时间同步的模块。

通常，在比特流和PVS之间的时间同步丢失的主要原因是延时。当视频流在诸如因特网的最高效（best-effort）网络上传输时，各个包的到达时间不是恒定的并且可以显著地变化。跨网络的包延时的随着时间的变化称为抖动（jitter）。为了确保序列无振动地平滑重放，大多数视频系统采用去抖动缓冲器。所接收的比特流基于各个包的到达时间而写入至输入缓冲器，并且从帧中读出的与该帧对应的画面数据在与帧周期对应的预定时间间隔中进入解码器。各个画面的显示时刻由记录在包标头中的时间戳字段确定。即，时间戳值与从画面起始代码的检测起到画面显示时刻为止经过的延时时间段对应。

在上述视频解码系统中，根据包括在用于确定显示时刻的视频比特流中的数据来确定各个视频帧的显示时刻。因为用于帧的显示的时间不固定，所以PVS可以不总是精确地匹配至原始比特流。

在文献中，在源和扭曲视频序列之间的时间同步问题被先前研究过并且被称为视频配准（video registration）。在M Barkowsky，R.Bitto，J.bialkowski和A.Kaup的“Comparison of matching strategies for temporalframe registration in the perceptual evaluation of video quality”，Proc.of theSecond International Workshop on Video Processing and Quality Metrics forConsumer Electronics,Jan.2006一文中，在性能和复杂性的方面提出并且检查了在用于视频配准的块匹配与相位关联之间的比较。而且，在Y.Y.Lee，C.S.Kim和S.U.LEE的“Video Frame-matching algorithm usingdynamic programming，”Journal of Electronic Imaging，SPIE，2009中，基于使用动态编程的匹配代价函数的最小化而提出了用于帧的移除、插入、置乱（shuffle）和数据压缩的帧匹配算法。在J.Lu的“Fast video temporalalignment estimation，”（US-B1-6751360）中提出了用于将扭曲视频时间对准于相应的用于视频质量测量的源视频的快速时间对准估算方法。通过将用于每帧的数据点计算为在两个后续帧之间的互关联，各个视频序列被转换为签名曲线（signature curve）。随后通过找到在检查的视频序列的签名曲线之间的归一化互关联的最大值来确定扭曲视频的时间失配。在H.Cheng的“Video registration based on local prediction errors，”（US-B2-7366361）中描述了用于识别在两个视频序列之间的空间的、时间的和直方图的对应性的另一方法。通过产生从一个以上的原始帧中的所选组到处理的组的映射从而使各个映射将本地预测错误最小化，PVS被对准至参考视频序列。在K.Ferguson的“System and methods for robust video temporalregistration，”（US-A-2008/0253689）中，从参考和测试视频序列中产生帧和子图像的提取测量。然后，使用帧之间的本地皮尔斯互关联系数来将它们线性对准。此外，在C.Souchard的“Spatial and temporal alignment of videosequences，”（US-A-2007/0097266）中，将动作函数定义为描述测试和参考视频序列的帧之间的像素组的动作并且使用变换以对准两个图像。