[发明专利]使用元数据的用于时间缩放的边缘增强

说明书

相关申请的交叉引用

本申请要求2010年1月15日申请的美国临时专利申请第61/295,425号的优先权，该专利申请以其整体通过引用结合于此。

技术领域

本公开涉及视频流的可缩放性。具体地，涉及使用元数据的用于时间缩放的边缘增强。

背景技术

视频回放能力在装置类别当中变化广泛。在频谱的一端是致使每秒120高清晰度帧的TV显示器。在低端则是移动电话，其可能只能示出每秒15低分辨率帧。除了再现装置的限制之外，用来传播内容的网络带宽也可能规定用于帧率和图像分辨率的最高限度。例如，最好的居住美国的宽带连接如Verizon的FIOS可以容易地传送用于高质量、60帧每秒高清晰度视频的压缩流。许多移动运营商仍然具有2.5G或更慢的数据网络，其只允许仅具有176×144像素（QCIF）每帧的15帧每秒（fps）。

除了针对每一种情形具有分开的压缩流之外，通常优选的是在同样的流中包括某种额外信息，以便每个显示系统可以针对其能力解码适当水平的质量。举例来说，移动手机可能能够找到20fps QCIF，同时读取同样的流的PC则可能解码某种额外信息，然后能够产生30fps的720×480累进（480p）数据。

具有这些额外层的位流被说成是可缩放的，并且一般概念被称为可缩放性。希望将用于额外层的开销保持到最小。理想的是应当没有比最大质量内容需要更多的位，并且事实上，如稍后将会示出的那样，可以使可缩放位流的尺寸非常接近于较低质量的需要，而没有很大降低最高质量内容的保真度。

在当前的实践中，幸运的是，可以在多种情形下使用所谓的H.264编码技术。然而，该标准本身并不以足够宽的方式支持可缩放性。这样一来，针对可缩放系统的挑战之一就是要确保标准H.264解码器将会能够以某种质量水平播放流，即使更高的质量水平仅可用于增强的解码器。对标准顺应性的这种要求也可以应用于任何其它具体标准，包括传统编码器像MPEG-2和尚未指定的未来编码器。

除了带宽约束和显示约束之外，处理能力也是显著的因素。移动装置像蜂窝电话在它们的计算能力方面固有地受到电池、尺寸和成本限制。而且，大多数电视系统（包括机顶盒）被设计成嵌入式系统，具有许多专用硬件并只有最少量的可编程处理能力。因此，任何可缩放的位流都必须或者用硬件支持，其花费数年的研制周期，或者必须要求低量的计算。

将带宽、处理能力、显示能力和标准顺应性的约束纳入考虑是挑战性的问题，其在现有技术中尚未被令人满意地解决。

发明内容

根据第一方面，提供了一种用于通过图像的相邻关键帧来后处理所述图像的非关键帧的方法，该方法包括：对重构关键帧进行下采样以形成下采样重构关键帧；对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；形成所述重构关键帧和所述上采样重构关键帧之间的差；以及将所述差添加到重构非关键帧，以补偿所述重构非关键帧。

根据第二方面，提供了一种用于通过图像的关键帧来处理所述图像的非关键帧的方法，该方法包括：对重构关键帧进行下采样以形成下采样重构关键帧；形成下采样非关键帧和下采样重构关键帧之间的差；对所述差进行上采样以形成上采样差；以及将所述上采样差添加到所述重构关键帧。

根据第三方面，提供了一种用于通过图像的相邻关键帧来处理所述图像的非关键帧的方法，该方法包括：形成所述非关键帧和所述关键帧之间的差；对所述差进行下采样以生成下采样差；对所述下采样差进行上采样以形成上采样差；重构所述关键帧；以及将所述上采样差添加到重构的关键帧。

根据第四方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括：对多个重构关键帧进行下采样以形成下采样重构关键帧；对所述下采样重构关键帧进行上采样以形成上采样重构关键帧；形成所述重构关键帧和各个上采样重构关键帧之间的差；以及将所述差之和添加到重构非关键帧以补偿所述重构非关键帧。

根据第五方面，提供了一种用于通过图像的关键帧来后处理所述图像的非关键帧的方法，该方法包括：对重构关键帧进行下采样以形成下采样重构关键帧；针对每个下采样重构关键帧，形成下采样非关键帧和所述下采样重构关键帧之间的差；对每个差进行上采样以形成上采样差；将每个重构关键帧添加到各个上采样差以形成修订上采样差；以及将所述修订上采样差相加在一起以形成补偿非关键帧。