[发明专利]使用兴趣区域(ROI)信息改进视频编码的方法和设备

说明书

相关申请的交叉参考

本申请要求于2007年8月15日提交的美国临时申请No.60/956,098的优先权，其全部内容通过引用合并于此。

技术领域

本发明总体上涉及一种视频编码，具体地涉及使用兴趣区域(ROI)信息的改进视频编码的方法和设备。

背景技术

画面中某些兴趣区域对于人眼而言比其他区域更重要。例如，在电视电话应用中的画面的情况下，认为与肤色相对应的区域相对于其他区域是重要的，因此，这样的区域应当与兴趣区域相对应。期望在这些区域中获得高感知质量，以便于在相应显示画面中获得总的良好感知质量。在视频压缩应用的情况下，所显示的画面是解码后的画面。为了允许画面内的不同感知质量，视频编码标准，例如，国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-2(MPEG-2)标准、以及ISO/IEC运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信分部(ITU-T)H.264推荐标准(以下称为“MPEG-4 AVC标准”)，提供了在特定区域中获得比其他区域更高质量的机制。为了解决这些区域的重要性，首先应当对这些区域进行检测，然后在这些区域中将较高感知质量定为目标。在视频压缩算法的情况下，可以通过分配更多比特以保留更多细节来获得较高感知质量。

使用这种信息的典型应用通常假定，兴趣区域(ROI)的检测是准确的并相应地分配不同的感知质量等级。该假定常常在实际应用中不成立，这是由于检测算法不适用于内容，或者由于计算复杂性约束禁止更复杂和强大的算法用于实际应用。

当应用兴趣区域检测结果来提高感知质量时，需要考虑人类视觉系统(HVS)的各种因素。一些因素涉及眼睛的光学特性和视网膜结构。这样的因素包括：人类视觉系统的颜色、空间遮蔽(masking)、时间遮蔽、以及运动跟踪属性。其他因素反应人类认知过程，如基于知识和经验的目标/图案识别。人类认知因素的一个示例在于，人类肤色的存在一般比画面中的其他区域吸引更多视觉注意。

在传统电视电话应用中，通常对脸部给予最大部分的视觉注意。在一个现有方法中，首先在画面中检测到脸部，然后向脸部分配较高感知质量。通过视频编解码测试模型近期版本8(TMN8)码率控制算法来获得较高感知质量，该算法向皮肤区域分配更精细的量化参数。在另一现有方法中，还将画面分割成属于以下区域的宏块(MB)：包括脸部的前景(FG)；以及背景(BG)。其他现有方法然后在视频编码器中向前景区域分配较精细量化步长Q_f，并且向背景分配较粗糙量化步长Q_b，公式如下：

两种现有方法通过允许以较高质量对皮肤区域进行编码，以给定比特率获得较高感知质量。

在两种现有方法中，该方案的确有助于提高针对电视电话应用的给定比特率下的解码画面质量，其中，在电视电话应用中，已经很好地开发了皮肤区域分割算法，并通常提供准确结果。然而，对于来自非视频会议应用的一般内容，皮肤分割更复杂并且检测准确度比值更低。当皮肤区域没有被检测为皮肤时(错误否定检测)，或者当将非皮肤区域检测为皮肤时(错误肯定检测)，发生检测错误。

在存在错误肯定检测的情况下，视频编码器向错误皮肤区域分配较高感知质量，并将较少比特留给画面中的其他区域。因此，当发生错误肯定检测时，应用以上方法可能损害感知质量。在错误否定检测的情况下，对皮肤区域的处理与其他区域相同，并分配相同感知质量。这禁止应用向吸引更多注意的位置分配较高质量。

一种使用皮肤检测结果作为兴趣区域信息来获得高感知质量的解决方案提高了皮肤检测准确度。这通常将需要并非始终在实际应用中可用的较高计算复杂性。

现在将描述兴趣区域信息的典型使用。典型兴趣区域检测算法基于应用于特征p的阈值T将画面分割成以下两种区域：(1)ROI和(2)非ROI。

在皮肤检测的情况下，特征可以是宏块(MB)属于皮肤区域的可能性，并且检测函数定义如下：

应用然后根据二元分割结果分配感知质量。转向图1，一般由参考数字100指示针对一维特征空间的二元兴趣区域判定。

通过使用较精细量化步长将更多比特分配给兴趣区域，并且通过使用较粗糙量化步长将较少比特分配给非兴趣区域。因此，兴趣区域具有比非兴趣区域更高的质量，并且总画面具有较高感知质量。

转向图2，一般由参考数字200指示使用兴趣区域信息的典型视频编码器中量化步长分配的方法。