[发明专利]用于图像和视频编码的错误恢复率失真优化

说明书

对相关申请的引用

本申请要求2010年10月20日提交的美国临时专利申请第61/405,025号的优先权，其全部内容通过引用合并于此。

技术领域

本发明的实施例一般涉及对图像和视频数据进行编码。更具体地，本发明的实施例涉及用于图像和视频编码的错误恢复率失真优化。

背景技术

近年来，图像和视频流送（streaming）应用的流行度增加。这些应用的范围从实现内容到用户的按需流送的软件和装置到点对点视频流送、在线视频广播以及用户家庭网络内的图像和视频共享。这些应用可能需要通过有线以及无线网络来传送图像和视频。例如，可以记录和回放图像和视频数据的移动多媒体装置（诸如智能电话）的增长已导致对实现高质量无线图像和视频传送的技术、以及实现这样的装置与其它互连的多媒体装置之间的无缝连接的技术的兴趣增加。视频的新发展（诸如3D立体视觉和多视图视频以及高动态范围成像和视频的涌现）也将增加对高质量图像和视频传送的需要，同时进一步增加了带宽要求。因此，通过有限带宽网络提供高质量图像和视频的能力是对于所有这样的流送应用的主要因素。

然而，两个因素可以影响对高质量图像和视频数据进行流送的能力。这两个因素是信道中的带宽限制和随机不可预测损失。

附图说明

并入本说明书并构成本说明书的一部分的附图示出了本公开内容的一个或多个实施例，并且连同示例实施例的描述一起用于说明本公开的原理和实现。

图1示出了具有率失真优化块的视频编码器的框图。

图2示出了视频解码器的框图。

图3示出了使用传送失真的一阶矩和二阶矩的分析计算的率失真优化系统的框图。

具体实施方式

根据本公开的第一方面，提供了一种用于图像或视频数据的失真优化的方法，该方法包括：提供编码图像或视频数据；根据图像或视频数据的传送失真而评估编码图像或视频数据的失真；以及在对图像或视频数据进行编码的同时执行图像或视频数据的失真优化。

根据本公开的第二方面，提供了一种被适配成接收图像或视频数据的编码器，该编码器包括：输入，用于接收图像或视频数据；参考画面缓冲器单元，该参考画面缓冲器单元包含所存储的图像或视频数据；率失真优化单元，该率失真优化单元被适配成接收来自输入的图像或视频数据；运动估计单元，该运动估计单元被适配成接收来自输入和率失真优化单元的图像或视频数据，并且被适配成接收来自参考画面缓冲器单元的所存储的图像或视频数据；运动补偿单元，该运动补偿单元被适配成接收来自运动估计单元的图像或视频数据和来自参考画面缓冲器单元的所存储的图像或视频数据；变换单元；以及量化单元，该量化单元和变换单元被适配成接收来自输入和运动补偿单元的组合图像或视频数据。

错误恢复率失真优化（ERRDO）是可以用于缓解信道中的带宽限制和随机不可预测损失的影响的一种方法。在视频压缩中使用率失真优化以使得对经受比特率约束的视频失真的估计最小化。通常，这通过对运动矢量、宏块模式、参考画面等的认真选择来执行，以减少比特流中可能存在的冗余，从而使得将适合在规定约束内。然而，尽管比特流中的较少冗余与压缩效率有关，但是也减少了其对不可预测错误的恢复力。

视频压缩技术包括用于改进错误恢复力的一些技术，诸如FMO（可变宏块排序）、ASO（任意切片排序）和冗余切片。然而，由于在视频编码器和解码器中的实现复杂度均较高，因此这些具有有限的实际应用。

用于增加错误恢复力的较不复杂途径是随机帧内更新（例如，在比特流中随机地插入帧内编码画面或帧内宏块）（参见[参考文献1]）。这减少了新画面/宏块对先前的解码画面/宏块的依赖性，从而减少了解码视频中的错误传播。然而，用于帧内编码宏块的额外比特增加了带宽，结果也增加了比特流对错误的敏感度。

其它方案选择最可能受错误不利地影响的图像或视频的区域，并且选择性地仅在这些区域中插入帧内编码块。除了帧内编码块的选择之外，还可以修改通常在率失真优化期间执行的其它模式判定（诸如参考画面的选择（包括长期参考画面的使用））以考虑信道损失的影响，从而改进比特流的错误恢复力，同时仍保持在约束带宽内。另外，也可为包含更重要信息的源数据分组提供不等的错误保护，诸如在可伸缩视频编码的情况下，其中，为了进行解码，一个层可依赖于先前解码的因此更重要的层。因此，错误恢复率失真优化可以以公式表示为：