[发明专利]基于CU尺寸的360度视频帧内模式选择的方法、编码器和设备

说明书

本发明涉及基于CU尺寸的360度视频帧内模式选择，针对PU大小与纹理特性之间的关系，重新设计了粗略模式决策(RMD)中确定候选模式列表的两步确定过程。对于大尺寸的PU，帧内预测模式2、10、18、26、34、Planar和DC可用于第一步RMD。对于小尺寸的PU，帧内预测模式2、6、10、14、18、22、26、30、34、Planar和DC可用于第一阶段RMD。在第二阶段RMD中，分析候选模式列表中的前两个模式。如果前两个模式是DC和Planar，则跳过第二阶段RMD，并且仅保留前两个模式以用于后续工作。如果前两种模式中的一种是角度模式，则在第二阶段RMD中检查该角度模式的相邻模式，并且更新候选模式列表，在后续工作中选择前两种模式。如果前两种模式都是角度模式，则在第二阶段RMD中检查第一个角度模式的相邻角度模式，并且在后续工作中选择前两种模式。

技术领域

本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(HEVC)中基于CU尺寸的虚拟现实360度视频帧内模式选择。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准[4]的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本发明的背景技术。

如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。帧内预测是消除视频空间冗余的主要技术之一。在HEVC中，仍然继续使用H.264/AVC的拉格朗日率失真优化(RDO)进行模式选择，为每一个帧内模式计算其RDO：

J＝D+λR

其中，J为拉格朗日代价，D表示当前帧内模式的失真，R表示编码当前预测模式下所有信息所需的比特数，λ为拉格朗日因子。其中D通常使用绝对哈达玛变换差之和(SATD)来实现。

在HEVC中，每帧图像可以被分成几个编码条带。一个编码条带包括多个小条带。每个小条带包含整数个编码树单元(CTU)，大小为64*64、32*32或16*16。一个CTU包含一个亮度编码树块(CTB)和两个色度CTB。HEVC还提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。

图3显示了CTU划分实例。CU划分过程基于率失真代价(RD-cost)进行。在帧内预测过程中，CU可以被划分为预测单元(PU)，HEVC亮度分量帧内预测模式支持5种大小的PU：4*4、8*8、16*16、32*32、64*64，其中每一种大小的PU都对应35种预测模式，包括Planar模式(模式0)、DC模式(模式1)以及33种角度模式(如图2所示)。HEVC色度分量帧内预测模式一共有5种模式：Planar模式、垂直模式、水平模式、DC模式以及对应亮度分量的预测模式。如果对应亮度分量的预测模式为前4种模式中的一种，则将其替换为角度预测模式中的模式34。