[发明专利]资源自适应视频的内插或外推

说明书

本申请案主张2007年12月10日申请的美国临时申请案第61/012,703号的权利，所述案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及数字视频译码，且更明确地说涉及用于视频帧内插或外推的技术。

背景技术

已开发用于编码数字视频序列的许多视频编码技术。例如，运动图片专家组(MPEG)已开发了包括MPEG-1、MPEG-2及MPEG-4的若干技术。其它实例包括国际电信联盟(ITU)-T H.263标准及ITU-T H.264标准及其对应标准ISO/IEC MPEG-4第10部分，即，高级视频译码(AVC)。这些视频编码标准通过以压缩方式编码数据来支持视频序列的有效传输。压缩减少了需要传输的数据的总量。

视频压缩可涉及空间及/或时间预测以减少视频序列中所固有的冗余。帧内译码使用空间预测来减少同一视频帧内的视频块之间的空间冗余。帧间译码使用时间预测来减少连续视频帧中的视频块之间的时间冗余。对于帧间译码，视频编码器执行运动估计以产生指示视频块相对于一个或一个以上参考帧中的对应的预测视频块的移位的运动向量。视频编码器执行运动补偿以从参考帧产生预测视频块，且通过从正被译码的原始视频块减去预测视频块来形成剩余视频块。

为了符合低带宽要求，一些视频应用可以减小的帧速率编码视频及/或跳过一些帧的编码。不幸地，低帧速率视频可产生呈运动急动形式的时间假影。可在解码器侧处采用帧内插或外推以估约由编码器跳过的帧或超出由编码器产生的基本帧速率的帧的内容。帧内插或外推可大体被称作帧取代。实际上，帧取代可用以升频转换实际帧速率以提供较平滑的运动的感知。帧取代可用以支持常被称作帧速率升频转换(FRUC)的过程。尽管FRUC可通过取代帧(例如，使用内插或外推)来增强时间质量，但一些帧的取代可引入破坏视觉质量的不合需要的空间假影。

发明内容

本发明针对用于选择待用于视频单元的取代(例如，通过内插或外推)的一个或一个以上参考视频单元的技术。视频单元可为视频帧、切片(slice)、块或其它单位。视频译码器可应用着重质量(quality-focused)视频模式以基于一个或一个以上质量准则的分析来选择参考视频单元。质量准则可指示(例如)有可能由选定参考视频单元产生的内插或外推质量的水平。质量准则可包括空间及/或时间视觉质量。如果参考视频单元中无一者满足可适用的质量准则，则对于待添加的特定视频单元，可停用取代。

视频译码器可应用着重资源(resource-focused)视频模式以基于视频序列的运动水平选择性地启用或停用对一些视频单元的取代。如果一个或一个以上参考视频单元大体为静态，则视频解码器或另一装置可停用取代，因此节省资源，例如，电力、计算及/或存储器资源。可将运动水平与阈值进行比较，所述阈值可为固定的或可依据可用资源的水平变化而调整。如果参考视频单元包括实质运动，则视频解码器或另一装置可启用取代，例如，将质量准则用于参考视频单元的选择。

对于延迟敏感性视频应用(例如，视频电话)，视频译码器或另一装置可经配置以选择视频参考视频单元来减少处理及呈现延迟。举例来说，当选择未来参考视频单元时，视频译码器可经配置以基于距待添加的视频单元的距离来选择参考视频单元。视频译码器还可经配置以分析与已经内插或外推的视频单元相关联的一个或一个以上质量特性，及基于所述分析选择性地启用或停用视频单元的显示，因此节省在一些情况下需要用来显示额外视频单元的资源。

在一个方面中，本发明提供一种方法，其包含：分析一个或一个以上候选参考视频单元的至少一个特性；及至少部分基于所述分析选择所述候选参考视频单元中的一者或一者以上作为参考视频单元以用于额外视频单元的内插或外推。

在另一方面中，本发明提供一种装置，其包含：分析单元，其分析一个或一个以上候选参考视频单元的至少一个特性；及选择单元，其至少部分基于所述分析选择所述候选参考视频单元中的一者或一者以上作为参考视频单元以用于额外视频单元的内插或外推。

在额外方面中，本发明提供一种方法，其包含：分析用于额外视频单元的内插或外推的一个或一个以上候选参考视频单元的运动水平；确定用于所述额外视频单元的内插或外推的资源水平；及基于所述运动水平及所述资源水平选择性地停用所述额外视频单元的内插或外推。