[发明专利]兴趣区域感知的视频编码

说明书

一种编码器，包括编码模块和适配模块。所述编码模块被配置为在至少一个兴趣区域中以及在所述兴趣区域外部对视频进行编码。所述编码包括量化，并且所述编码模块可操作地应用在所述兴趣区域内部的所述编码和在所述兴趣区域外部的所述编码之间的量化粒度中的差异。所述适配模块被配置为确定表示所述兴趣区域内部和所述兴趣区域外部的所述量化效益的差异的至少一个度量，并且取决于所述度量对所述量化粒度中的差异进行适配。

背景技术

在现代通信系统中，视频信号可以通过诸如有线和/或无线网络(通常是诸如互联网的基于分组的网络)之类的介质从一个终端发送到另一个终端。通常，视频的帧在发送终端被编码器编码，以便于对其进行压缩以用于经由网络进行传送。对于给定帧的编码可以包括帧内编码，凭借帧内编码，相对于同一帧中的其他块来对块进行编码。在这样的情况下，目标块根据该块与相邻块之间的差(残差)而被编码。可替代地，对于一些帧的编码可以包括帧间编码，凭借帧间编码，目标帧中的块通常基于运动预测，相对于前序帧中的相对应的部分而被编码。在这种情况中，根据用于标识目标块与要从中预测出该块的相对应的部分之间的偏移量的运动向量，以及目标块与从中预测出该块的相对应的部分之间的差(残差)，来对目标块进行编码。接收机处的相对应的解码器基于适当的预测类型来对接收到的视频信号的帧进行解码，以便于将其解压以用于输出到屏幕。可以用来指代编码器和/或解码器的通用术语是编解码器。

在预测编码之前，每个块的样本通常被量化，以便于降低对块进行编码中产生的比特率。量化指的是对在相对大规模上表示的样本或来自相对大的集合的值之中的样本进行采样，并将其转换成在相对小的规模上表示的样本或来自相对小的集合之中的样本(其可以被称为量化等级)。例如，量化可以指的是将有效连续的变量(例如，连续变量的数字近似)转换为约束到实质上离散的等级的集合的变量的过程。量化的粒度指的是要表示的样本被约束为从其中选择的规模或集合中的可能被量化成的值之间的间隔的大小，即量化等级之间的步长的大小。这还可以被描述为量化的粗度或细度。取决于该粒度，量化将某种失真引入到视频图像的表示中，但是也降低了表示图像所需的比特数量。

一些视频编解码器(例如根据H.264标准设计的那些编解码器)允许量化粒度被设置为编码的参数(并且以与被编码的比特流一起传送的边信息的形式用信号发送到解码器)。还可能的是，定义视频帧的范围内的兴趣区域(ROI)，并且设置由固定的量化参数偏移所定义的该ROI内部和外部的量化参数中的差。编解码器的设计者能够潜在地使用该ROI来覆盖期望把更多的比特花费在更好地质量上的视频的任何区域。一种可能的使用是覆盖面部或面部特征。例如，通过这种方式，可以将更多的可用于通过网络来发送视频的潜在受限的可用带宽花费于提供在ROI中的质量，同时，需要花费相对少的比特来对背景和/或较低重要性的区域进行编码。

发明内容

发明人已经意识到，现有的方法不总是产生最期望的结果。例如，在视频通话中，视频图像通常由在大体上静止的背景下的说话的头部组成，因此，ROI可以被设置在头部、面部或诸如嘴、眼眉和眼睛等某些运动特征周围的图像区域中。在具有恒定背景的说话的头部的情况中，通过帧间编码进行的对背景的编码将实际上产生很少的比特甚至不产生比特，而与兴趣区域内部和外部的量化参数中的任何差异无关，这是因为帧之间的残差为零，与量化步长的大小无关。然而，如果ROI外部的量化过粗，则对背景的偶尔的帧内编码将是低质量的，并且此外，背景中的细小改变将随着时间引入增长的降级。因此，事实上，在一些情况中，在ROI和ROI外部之间应用特定量化偏移可能降级ROI外部的质量，而没有ROI中相对应的改善。类似的问题可能出现在视频通话或说话的头部以外的情况中。期望的是，提供ROI中的质量提升与ROI外部的质量降级之间的更均衡的折衷。