[发明专利]基于深度学习方法的块分割编码复杂度优化方法及装置

权利要求书

1.一种基于深度学习方法的块分割编码复杂度优化方法，其特征在于，包括：

在高效率视频编码HEVC中，查看所述HEVC当前使用的帧编码模式；

根据所述帧编码模式选取与所述帧编码模式对应的编码单元CU分割预测模型；所述CU分割预测模型为预先建立并训练的模型；

根据选取的所述CU分割预测模型预测所述HEVC中的CU分割结果，根据预测的所述CU分割结果对整个编码树单元CTU进行分割；

所述帧编码模式为帧内模式，则所述CU分割预测模型为能够提前终止的分层卷积神经网络ETH-CNN；

所述帧编码模式为帧间模式，则所述CU分割预测模型为能够提前终止的ETH-LSTM和所述ETH-CNN。

2.根据权利要求1所述的方法，其特征在于，所述查看所述HEVC当前使用的帧编码模式的步骤之前，所述方法还包括：

构建所述ETH-CNN，训练所述ETH-CNN；

构建所述ETH-LSTM，训练所述ETH-LSTM。

3.根据权利要求2所述的方法，其特征在于，构建所述ETH-CNN，训练所述ETH-CNN的步骤，包括：

构建帧内模式下HEVC中用于预测CU分割结果的第一数据库；

采用HEVC标准参考程序对所述第一数据库中的图像进行编码，获取所述第一数据库中的正样本和负样本；

采用所述正样本和所述负样本训练帧内模式对应的ETH-CNN。

4.根据权利要求3所述的方法，其特征在于，所述第一数据库中的每一个图像的分辨率为4928×3264；

所述第一数据库包括：训练集、验证集和测试集；所述训练集、验证集和测试集中的每一个均包括四个子集；

四个子集中第一个子集中每一个图像的分辨率为4928×3264，第二个子集中每一个图像的分辨率为2880×1920，第三个子集中每一个图像的分辨率为1536×1024，第四个子集中每一个图像的分辨率为768×512。

5.根据权利要求2所述的方法，其特征在于，构建所述ETH-CNN，训练所述ETH-CNN；构建所述ETH-LSTM，训练所述ETH-LSTM的步骤，包括：

构建帧间模式下HEVC中用于预测CU分割结果的第二数据库；

对第二数据库中的所有视频的分辨率进行预处理，使得每一个视频段分辨率在预设范围内，以及对视频长度进行预处理，使得每一个视频长度为预设长度以内；

采用HEVC标准参考程序对预处理后的所述第二数据库中的视频进行编码，获取所述第二数据库中的正样本和负样本；

采用所述正样本和所述负样本训练帧间模式对应的ETH-CNN和帧间模式对应的ETH-LSTM。

6.根据权利要求3所述的方法，其特征在于，

ETH-CNN的输入为一个64×64的矩阵，代表整个CTU的亮度信息，用U来表示；

ETH-CNN结构化输出包含三个分支B₁、B₂和B₃，三个分支分别输出三级分层CU分割图HCPM的预测结果：和

即ETH-CNN在三个分支B₁、B₂和B₃中进行结构化输出，其中：

B₁分支输出HCPM第一级的预测结果

B₂分支输出HCPM第二级的预测结果

B₃分支输出HCPM第三级的预测结果

U代表最大尺寸的64×64的CU；

U_i代表由最大尺寸CU分出的每个32×32的CU；i代表每个32×32的CU的序号，i取1～4；

U_i，j代表由32×32的CU分出的每个子CU，即16×16的CU；j代表每个16×16的CU的序号，j取1～4；

ETH-CNN的提前终止机制能够提前结束第二、三个分支上全连接层的计算；

和/或，ETH-CNN的具体结构包含两个预处理层，三个卷积层，一个归并层和三个全连接层。