[发明专利]视频编码中的层切换

说明书

技术领域

该实施例一般涉及多层或多视图视频的编码，并具体涉及对多层或多视图视频中 在切换点处重合的这种多层或多视图视频的图片进行编码。

背景技术

高效视频编码(HEVC，ITU-TH.265|ISO/IEC23008-2)是在联合协作小组-视频编 码(JCT-VC)中发展的新近视频编码标准，联合协作小组-视频编码(JCT-VC)是运动图像专 家组(MPEG)和国际电信单元(ITU)电信标准化部门(ITU-T)之间的协作项目。HEVC使用基于 块的混合方案，该方案采用空间(帧内)预测和时间(帧间)预测。仅使用帧内预测(即帧内图 片)对视频序列的第一图片编码，因为不存在可用的时间参考。

视频编码和解码的基本概念是通过采用视频数据中的空间和时间冗余来对视频 序列或流的视频数据进行压缩和解压缩。一般地，在视频序列的同一图片(帧内预测)或其 他图片(帧间预测)内相对于参考像素块对像素块(现有技术中也称为采样)进行编码和解 码。例如，HEVC针对帧内预测规定了33种定向模式、平面的和DC帧内预测模式。帧内预测模 式使用来自先前已经被解码的相邻预测块(即像素块)的数据。帧间预测可以使用来自其他 图片中的一个或更多个预测块的数据。这些参考块通常由相应的运动矢量(MV)标识。HEVC 允许两个MV模式，其是高级运动矢量预测(AMVP)和合并模式。AMVP使用来自参考图片的数 据并且还可以使用相邻预测块的数据。合并模式允许MV从相邻预测块继承。然后与帧内预 测模式的表示或MV数据一起编码并使用当前像素块和参考像素块之间的差异，作为像素块 的编码表示。然后在解码器处对从编码器输出的得到的编码比特流输出进行解码，以得到 视频序列或流中的图片的解码表示。

HEVC的扩展是一种可缩放扩展(SHVC)，其允许单个编码比特流包含同一视频的具 有不同分辨率和/或质量的不同版本。与以独立的流发送视频的不同版本相比，允许层间的 预测提高了编码效率。可缩放视频编码的特定使用情况是使用多个层以创建自适应视频比 特流的自适应分辨率改变(ARC)。当需要改变分辨率时，自适应视频编码器切换至具有适合 当前网络条件的分辨率的层，并继续编码。还可以在一层内以及在HEVC的不可缩放版本中 进行分辨率改变，但是针对那种情况，每次改变分辨率时，需要使用帧内图片，这降低了编 码效率。

SHVC流中的每个编码图片与表示图片输出顺序的图片顺序计数(POC)值相关联。 具有较高POC值的图片比具有较低POC值的图片更晚输出。在SHVC中，可能存在被认为属于 相同存取单元(AU)的来自不同层的具有相同POC值的图片。这通常意味着它们表示相同原 始图像的不同版本(例如一个完整分辨率和一个下采样)，并且如果输出该不同版本，则它 们将被同时输出。当发信号通知同一AU中的多于一个图片时，这些图片必须属于不同层，即 具有不同的层标识符nuh_layer_id。

可缩放比特流中的最低层被称为基层，并且具有层标识符0。较高层被称为增强层 并具有高于0的层标识符。在SHVC中，增强层中的帧内随机接入点(IRAP)图片是一类不参考 增强层的任意图片的图片。然而，允许参考基层。IRAP图片还禁止按照解码顺序的在IRAP图 片之后的图片参考按照解码顺序的在IRAP图片之前的图片。

在典型SHVC流中，在每个时刻，在每个AU中的所有层中存在图片，但是在ARC的情 况下，编码器通常将选择把single_layer_for_non_irap_flag设置为等于1。Single_ layer_for_non_irap_flag等于1指示在每个AU中(即，每个时刻)至多存在两个图片，并且 当在同一AU中存在两张图片时，最高层中的图片一定是IRAP图片。

当该标志等于1时，一般在基层中或者在增强层中的每个AU中仅存在一个图片。唯 一的例外是当增强层图片被发信号通知为IRAP图片时。在那个AU中，允许在基层和增强层 二者中均具有图片。这意味着基层图片可以由增强层用于预测。这还意味着增强层图片不 能参考增强层中的任何图片，因为它被编码为IRAP图片。从较低层至较高层的横越 (traversing)被称为向上切换。相应地，向较低层的横越被称为向下切换。