[发明专利]在视频编码中适应鲁棒性

说明书

背景技术

在现代通信系统中，视频信号可以通过诸如有线和/或无线网络（通常，诸如因特网之类的基于分组的网络）之类的介质从一个终端被发送到另一个。典型地，在发送终端处用编码器对视频的帧进行编码以便对其压缩以用于通过网络进行传输。用于给定帧的编码可以包括帧内编码，其中块相对于在同一帧中的其他块而被编码。在这种情形下，目标块通过在那个块和相邻块之间的差异（残差（residual））而被编码。可替换地，用于某些帧的编码可以包括帧间编码，其中典型地基于运动预测，在目标帧中的块是相对于在前的帧的相应部分而被编码。在这个情况下，目标块是通过标识在块和该块根据其要被预测的相应的部分之间的偏移的运动向量，以及在该块和该块根据其而被预测的对应的部分之间的差异而被编码。在接收器处对应的解码器基于合适的预测类型来对所接收到的视频信号的帧进行解码，以便将它们解压缩（decompress）以用于向屏幕输出。

但是，帧或者帧的部分会在传输中丢失。例如，典型地，基于分组的网络不保证所有分组的递送，例如，分组中的一个或多个可能由于拥塞（congestion）而在中间路由器处被丢弃。作为另一个示例，数据可能由于网络介质的较差的情况（例如，噪声或者干扰）而损坏（corrupt）。基于被包括在编码的比特流中的冗余信息，前向纠错（FEC）或者其他这样的错误保护技术有时可以被用来恢复丢失的分组。但是，没有一种错误保护技术是完美的，并且某些分组在尝试纠正之后可能仍然不会被恢复。可替换地，系统设计者可能不想要引入（incur）被用于错误保护的冗余信息的开销，至少不是在所有的情况下。所以，丢失可能仍然发生。

鲁棒性指的是编码方案对丢失不敏感的能力，依据在存在丢失的情况下失真如何被影响。帧间编码帧（interframe）相比于帧内编码帧（intraframe），要求更少的比特来编码，但是由于帧间编码帧引入了对在前帧处的依赖性，所以它是更不鲁棒的。即使帧间编码帧被接收，但是如果在其历史中的某些帧已经被丢失（包括对其预测所依据的参考的帧或帧的一部分，或者对参考预测所依据的帧或者帧的一部分），则其可能无法被合适地解码。所以，由于丢失的失真可能在多个帧上扩散。帧内编码是更为鲁棒的，这是因为其仅仅依赖在当前帧中的参考的接收，所以即使已经存在之前的丢失，解码状态仍然可以被恢复。负面是帧内编码在编码的比特流中引入更多的比特。改善鲁棒性的另一个可能的诀窍是使得解码器反馈被成功接收和解码的帧或者帧的一部分的确认，并且使用确认的参考模式，其限制编码器仅仅相对于确认的参考而对当前块进行编码。但是，这将用于预测的候选限制为在时间上进一步向后的参考，其倾向于更不相似，并且因此在预测方面实现了更少的增益（即，导致更大的残差）。

考虑各种可能的编码模式（比如，帧内编码、帧间编码以及相对于确认的参考的编码），因此在鲁棒性（在防卫潜在的失真方面）以及在编码的信号中引入的比特率之间的折中要被做出。丢失适应的速率失真优化（LARDO）是一种可以在解码器侧被应用来尝试优化这个折中的技术。对于每个考虑的宏块，LARDO测量通过在多个可用的编码模式中的每个中对宏块进行编码而经历失真D的估计和使用这些编码模式中的每个时将要被引入在编码的比特流中的比特率。失真D的估计可能考虑到源编码失真（例如，由于量化）以及由于丢失的潜在的失真的估计（基于在所考虑的信道中出现丢失的可能性）两者。在编码器处的LARDO过程然后选择编码模式，所述编码模式使形如D+λR（其中，λ是表征折中的参数）的函数最小化。

发明内容

根据一个方面，本公开涉及一种装置，所述装置具有用于接收包括多个帧的视频信号的输入，每一个帧包括多个图像部分，以及用于对图像部分的每一个进行编码以便生成编码的信号的编码器。例如，所考虑的图像部分可能是任何合适的编解码器的块或者宏块，或者帧的任何其他所期望的划分（division）。编码器能够使用两个或多个不同的编码模式中的任何所选择的一个对部分（例如，每个块或者宏块）中的每一个进行编码，并具有不同的速率失真折中。例如，编码模式可以包括帧内编码模式、帧间编码模式和/或目标部分被相对于确认的参考（确认为已被接收端接收）而被编码的模式。