[发明专利]基于卷积神经网络的VVC块划分快速预测方法及系统

说明书

本发明公开了一种基于卷积神经网络的VVC块划分快速预测方法及系统，包括：输入大小为32×32的编码单元和其量化参数QP，预处理后作为卷积神经网络的输入，经过卷积操作后，最终输出对当前CU的划分预测结果，对CU最可能的划分形式：水平、垂直、不划分或是复杂形式做出预测。本发明有效地降低了编码单元的多类型划分的复杂度，减少了所需的编码时间；并在提高编码速度的同时，保证了最终解码端的视频质量。

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于卷积神经网络的VVC块划分快速预测方法及系统。

背景技术

由于视频分辨率的不断提高以及VR视频等技术的发展，导致视频码率急剧上升，因此ITU-T和ISO/IEC成立了JVET工作组并开始H.266/VVC编码标准的研制工作，2020年VVC第一版标准正式发布。VVC沿用了基于块的混合编码框架，延续了HEVC的大部分编码工具的基础上，在各个模块都添加了一些新的编码工具，或者对其中的编码工具进行了优化。VVC除了按四叉树划分，还可以按多类型树划分。具体来说，VVC中CTU首先按照四叉树划分成不同CU，然后四叉树叶子节点的CU可以按照多类型树进行划分，包括四种划分类型：垂直二叉树划分(BV)、水平二叉树划分(BH)、垂直三叉树划分(TV)、水平三叉树划分(TH)，其中三叉树按照1:2:1划分。

如图1所示，编码块划分采用递归设计。面对水平或者垂直特征比较明显的编码块，以及平滑编码块，复杂的多种划分方式造成很多无效的冗余编码。因此，为降低算法复杂度，快速判断编码块的划分类型是一种有效途径。文献“Park S H,Kang J W.Context-based Ternary Tree Decision Method in Versatile Video Coding for Fast IntraCoding[J].IEEE Access,2019,PP(99):1-1.”利用VVC编码上下文识别了三叉树划分特征，并因此提出了一种简单的早期决策技术，降低三叉树划分复杂性。文献“Wu G,Huang Y,ZhuC,et al.SVM Based Fast CU Partitioning Algorithm for VVC Intra Coding[C]//2021IEEE International Symposium on Circuits and Systems(ISCAS).IEEE,2021.”提出了一种基于支持向量机的VVC帧内编码快速CU分割算法，通过使用纹理信息预测CU的分区，提前终止冗余分区，提高编码效率。但是这些方法都需要预先提取出编码块的特征，算法的有效性与特征的选取紧密相关。

近年来，在视频编码框架内继续使用传统方法改进编码性能变得越来越困难，基于神经网络的视频编码逐渐成为可能。

发明内容

本发明的目的在于提供一种基于卷积神经网络的VVC块划分快速预测方法及系统，在保证编码质量的前提下，降低编码单元多类型划分的计算复杂度，节约编码时间。

实现本发明目的的技术解决方案为：一种基于卷积神经网络的VVC块划分快速预测方法，包括如下步骤：

步骤1、数据收集：选取不同的视频，每隔M帧选取1帧，每个视频共计选取N帧，在不同量化参数QP下用原始VVC编码器进行编码，并收集以下数据作为训练集：32×32大小的编码单元CU的像素值，量化参数QP作为输入信息，编码过程中该CU的最优划分方式所属类别作为对应的标签；所属类别包括水平划分、垂直划分、不划分、四叉树划分；

步骤2、数据训练：对于训练集中的CU，将CU的亮度值进行去均值预处理，作为卷积神经网络的输入，随后进行四次卷积计算，最终得到1×1的特征；将QP值作为先验输入全连接层，并将输出的特征与CU的特征叠加，经过softmax作为划分结果的输出，和标签对应；经过训练后得到一个用于VVC块划分快速预测的网络；

步骤3、模型部署：在VVC实际编码过程中，对于每一个32×32大小的CU，将CU亮度值、QP值输入到上述训练好的网络中，得到对当前CU的最优划分的预测，根据该预测进行后续编码。