[发明专利]可缩放视频的层间残差预测的方法和设备

说明书

相关申请的交叉引用

本申请要求于2007年10月15日提交的序列号为60/979,956的美国 临时申请的权益，其全部公开一并在此作为参考。此外，本申请涉及 标题为“METHODS AND APPARATUS FOR INTER-LAYER RESIDUE PREDICTION FOR SCALABLE VIDEO”、代理文档号为PU080157的 非临时申请，该申请也要求于2007年10月15日提交的序列号为 60/979,956的美国临时申请的权益，这是共同转让的，并入在此作为 参考并与此一同提交。

技术领域

本发明总体上涉及视频编码和解码，更具体地，涉及可缩放视频 的层间残差预测的方法和设备。

背景技术

“比特深度”，也可交换地称为“颜色深度”和/或“像素深度”， 是指用于保持像素的比特的数目。比特深度确定可以一次显示的最大 颜色数目。近年来，在许多应用领域中更期望具有比特深度大于8的数 字图像和/或数字视频，这些应用领域包括但不限于，医疗图像处理、 制作和后期制作的数字电影工作流、家庭影院相关应用、等等。

有若干处理例如8比特视频和10比特视频共存的方式。在第一现 有技术解决方案中，仅传输10比特编码的比特流，并且通过向10比特 呈现应用色调映射方法，来获得针对标准8比特显示设备的8比特呈现。 色调映射是将较高比特深度转换成较低比特深度的公知技术，通常利 用更有限的动态范围来近似媒体中高动态范围图像的表现。

在第二现有技术解决方案中，传输包括8比特编码呈现和10比特 编码呈现的同时联播比特流。在选择对那种比特深度进行解码方面， 这对于解码器而言是优选的。例如支持10比特的解码器可以解码和输 出10比特视频，而仅支持8比特视频的正常解码器能够仅输出8比特视 频。

第一解决方案固有地不符合国际标准化组织/国际电工委员会 (ISO/IEC)运动图像专家组-4(MPEG-4)的第10部分高级视频编码 (AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐标准(下文称 作“MPEG-4AVC标准”)的8比特简档。第二解决方案符合所有当前标 准，但需要更多开销。然而，比特缩减和标准向后兼容性之间的良好 折衷可能是可缩放解决方案。可缩放视频编码(SVC)也被称为 MPEG-4AVC标准的可缩放扩展，考虑了对比特深度可缩放性的支持。

比特深度可缩放编码相比于后处理或联播具有至少三个优点。第 一优点在于，比特深度可缩放编码实现了与MPEG-4AVC标准的高简 档向后兼容方式的10比特视频。第二优点在于，比特深度可缩放编码 实现了对不同网络带宽或设备能力的适应。比特深度可缩放编码的第 三优点在于，提供低复杂性、高效率和高灵活性。

在MPEG-4AVC标准的当前可缩放视频编码扩展中，支持单循环 解码，以降低解码复杂性。只有当前空间或粗增益可缩放(CGS)层 需要帧间编码宏块的完全解码(包括运动补偿预测和去块)。这可以通 过将层间帧内纹理预测约束到利用帧内宏块编码的较低层图像的那些 部分来实现。为了针对比特深度可缩放性来扩展层间帧内纹理预测， 使用色调逆映射。可缩放视频编码还支持层间残差预测。由于一般而 言，在像素(空间)域中使用色调映射，所以很难在残差域中找到相 应的色调逆映射。在第三和第四现有技术方法中，比特位移用于层间 残差预测。

在被称为平滑参考预测(SRP)的第五现有技术方法(是无需比 特深度可缩放性而增加单循环解码的层间编码效率的技术)中，当设 置了语法元素residual_prediction_flag和base_mode_flag两者时，发送一 个比特的语法元素smoothed_reference_flag。当smoothed_reference_flag 等于1时，在解码器处采用以下步骤来获得重构的视频块：

1.使用增强层参考帧和来自基本层的上采样运动矢量，来获得预 测块P；

2.对相应基本层残差块r_b进行上采样，并将U(r_b)与P相加以形成 P+U(r_b)；

3.首先沿着水平方向然后沿着垂直方向应用具有抽头[1，2，1]的 平滑滤波器，以获得S(P+U(r_h))；以及