[发明专利]基于时空深度信息的VCC编码单元快速划分方法

说明书

本发明提出了一种基于时空深度信息的VCC编码单元快速划分方法，步骤为：将最大编码单元的CU进行四叉树划分，四叉树划分结束进行多类型树划分；当最大编码单元的四叉树划分深度为2时，时空相邻CU的平均深度小于2时，则四叉树划分终止；当最大编码单元的四叉树划分深度为3时，时空相邻CU的平均深度小于3时，则四叉树划分终止；当最大编码单元的四叉树划分深度在2~4之间时，CU进行多类型树划分；当最大编码单元的多类型树划分深度为0时，时空相邻的平均深度小于0.1时，CU不需要多类型树划分，否则遍历所有的划分模式；根据率失真代价决策最优的预测方式。本发明平均可节省35.72%的编码时间，同等编码质量下平均比特率增加较少。

技术领域

本发明涉及视频编码的技术领域，尤其涉及一种基于时空深度信息的VCC编码单元快速划分方法。

背景技术

随着人们对高清视频的需求越来越大，越来越多的视频编码标准已经出现，如H.264/AVC 和H.265/HEVC。然而，这些标准所能达到的压缩比无法跟上视频数据需求的快速增长。因此，下一代超高清视频编码技术的研究与标准制定已显得十分迫切，目前在视频领域应用广泛的视频编码标准H.265/HEVC逐渐不能满足实际应用的需求，在这种情况下新一代视频编码标准H.266/VVC应运而生。

HEVC是高效视频编码(versatile video coding，VVC)的前身，HEVC采用四叉树编码结构，在过去的十年中，大量的研究有助于降低HEVC的复杂性。在HEVC中，编码单元(Coding Unit，CU)分区占用编码时间的比例最大，因此很多方法都试图简化CU分区，以降低HEVC的复杂度。同样，VVC的CU划分结构也可以简化，VVC的CU划分结构比HEVC 灵活得多，采用了更复杂的四叉、三叉、二叉树编码结构，计算量也大得多。目前提出了大量的快速划分算法，这些方法大致可以分为两大类：启发式方法和机器学习方法。

在启发式方法中，通过利用编码的一些中间特征，如纹理的同质性/复杂性和空间相关性，建立CU分区的统计模型，通过这些模型，提前终止进一步的CU划分，结束CU分区中的冗余率失真优化(RDO)过程。杨等人提出了一种基于全局、局部纹理信息、上下文信息等的低复杂度码树单元(CTU)结构决策算法。王等人还说明了局部约束CU分区决策方法。除了纹理分析，一些工作还基于机器学习或卷积神经网络。Amestoy等人将随机森林引入VVC 框架分区。CNN(卷积神经网络)在视频编码中的应用已经在之前的工作中得到了有效验证。刘等人为HEVC帧内编码提出了基于CNN的CU模式和分区决策。徐等人提出了一种将CNN 和长短期记忆(LSTM)网络应用于HEVC内部和内部分区以降低编码复杂度。同样在VVC中，也出现了一些与CNN类似的作品。Jin等人提出了面向CNN的快速四叉树加二叉树(QTBT) 决策，用于VVC帧内预测，这项工作将QTBT结构建模为分类问题。对于32x32的CU，CU 深度将由CNN推断，其中CU深度由四叉树深度和二叉树深度定义，与HEVC中的深度不同。Tissier等人提出了一种基于CNN的帧内编码复杂度降低技术，通过CNN得到一个概率向量，根据这些概率向量得到CU划分方式，从而加速编码速度。Chen等人提出了一种利用编码单元的平均深度来加速CU划分提前终止算法。上述方法都是针对快速编码单元划分而精心设计的，极大的缩短了编码时间，但显著降低RD的性能。

因此，在新一代视频编码标准中，在高效视频编码(versatile video coding，VVC)中，不同大小的编码单元(Coding Unit，CU)的特性使得编码效率得到了显着提升，但同时带来了极高的计算复杂度。

发明内容

针对现有VCC方法的计算复杂度高的技术问题，本发明提出一种基于时空深度信息的 VCC编码单元快速划分方法，去除了CU分区中的冗余计算，在不影响编码性能的前提下，具有较低的计算复杂度，减少了不必要的率失真优化操作，显著加快了编码速度。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于时空深度信息的VCC编码单元快速划分方法，其步骤如下：