[发明专利]基于KNN分类器的虚拟现实视频CU划分算法

说明书

将一组帧序列划分为训练帧子集和预测帧子集，其中，训练帧子集中的训练帧被用于对预测帧子集中的预测帧的LCU(最大编码单元)的划分深度进行预测。预测例如可以使用KNN分类器来进行。

技术领域

本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(HEVC)中基于KNN分类器的虚拟现实视频CU划分算法。

背景技术

虚拟现实视频是用专业摄像机捕捉整个场景的图像信息，视频由软件拼接，由专用设备播放。它还为观看者提供了各种操作图像的功能，可以放大、缩小和向各个方向移动来观看场景，从而模拟和再现场景的真实环境。

目前，虚拟现实视频的编码和传输主要依靠将虚拟现实视频投影的每一帧转换成矩形的普通视频，然后利用HEVC等传统编码标准对其进行编码。常用的投影模式有ERP、EAP、CMP等。虚拟现实视频的质量评价标准不同于普通视频，本文采用ERP投影格式使用HEVC进行编码的虚拟现实视频。

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准[4]的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本发明的背景技术。

HEVC提出了全新的语法单元：编码单元(CU)是进行预测、变换、量化和熵编码的基本单元，预测单元(PU)是进行帧内帧间预测的基本单元，变换单元(TU)是进行变换和量化的基本单元。

如图1所示，在HEVC中，可以进行帧内预测模式和帧间预测模式的切换。在帧内预测模式和帧间预测模式中，HEVC都采用编码树单元(CTU)的编码结构，CTU是HEVC编解码的基本处理单元。CTU由1个亮度CTB、2个色度CTB和相应的语法元素组成。图2显示了在一个LCU编码后的CTU结构。在HEVC中，LCU可以只包含一个编码单元(CU)，也可以使用CTU四叉树结构划分出为不同大小的CU。

HEVC中有四种大小CU，大小分别为：64x64、32x32、16x16和8x8CU块越小，其在CTU树中位置越深。当CU为64x64、32x32和16x16和时称为2N*2N模式(表示可以划分为更小的CU)，当CU为8x8时称为N*N模式(表示不可以进行进一步划分)。

在HEVC中，PU进行帧内帧间预测的基本单元，PU的划分是以CU为基础的。对于2N*2N的CU模式，帧内PU的可选模式包括2N*2N和N*N，帧间PU的可选模式有8种，包括4种对称模式(2N*2N，N*2N，2N*N，N*N)和4种非对称模式(2N*nU，2N*nD，nL*2N，nR*2N)，其中，2N*nU和2N*nD分别以上下1∶3、3∶1的比例划分，nL*2N和nR*2N分别以左右1∶3、3∶1的比例划分。

在HEVC中，仍然继续使用H.264/AVC的拉格朗日率失真优化(RDO)进行模式选择，为每一个帧内模式计算其RDO：