[发明专利]基于深度学习的3D-HEVC深度图编码单元快速决策方法

权利要求书

1.基于深度学习的3D-HEVC深度图编码单元快速决策方法，其特征在于包括如下步骤：

步骤1：提取训练数据集

官方提供分辨率为1920*1088的GTFly、PoznanHall2、UndoDancer、PoznanStreet、Shark与分辨率为1024*768的Balloon、Kendo、Newspaper共8个测试序列；将GTFly、PoznanHall2、UndoDancer、Ballon、Kendo作为训练集，PoznanStreet、Shark、Newspaper作为测试集；具体的：提取分辨率为1920*1088的GTFly、PoznanHall2、UndoDancer测试序列的前10帧图像组的64*64尺寸的深度图像素矩阵和分辨率为1024*768的Balloon、Kendo的测试序列的前26帧图像组的64*64尺寸的深度图像素矩阵作为训练集；训练集的深度图编码单元是否分割的标签通过逐级比较RD-COST的大小得到，即若分割后的RD-COST小于等于分割前的RD-COST，则设置标签为1，表示分割；若分割后的RD-COST大于分割前的RD-COST，则设置标签为0，表示不分割；

步骤2：训练集的预处理

将采集的64*64的深度图像素矩阵复制为3份，对这三个矩阵分别做不同的预处理；分别得到三个不同归一化处理的64*64的矩阵，作为卷积神经网络的输入；

步骤3：构建卷积神经网络，包括：

构建深度卷积神经网络，并设计损失函数，将得到的不同归一化处理后的64*64的矩阵输入到卷积神经网络中，调整参数，从而得到深度图编码单元是否分割的特征模型；

步骤4：卷积神经网络模型输出分类结果

通过卷积神经网络模型的训练，可以得到尺寸为64*64、32*32、16*16的深度图编码单元是否分割的判断依据；将得到的判断依据模型加载到卷积神经网络模型,可作为判断深度图是否继续分割的标准。

2.根据权利要求1所述的基于深度学习的3D-HEVC深度图编码单元快速决策方法，其特征在于步骤2所述的训练集的预处理，具体实现如下：

步骤2.1：当输入一个64*64的深度图像素矩阵时，先将此深度图像素矩阵复制为三份，对这三个矩阵分别做不同的归一化处理，分别是：

对第一个64*64的矩阵Ⅰ，先对64*64个像素值求得其均值和方差，将其每个像素值减去求得的均值和方差，获得一个像素分布均匀的矩阵I′；

对于第二个64*64矩阵Ⅱ，先将其分为4个32*32矩阵，再分别求4个矩阵像素值的均值和方差，最后再将每个像素值减去求得的均值和方差，获得一个像素分布均匀的矩阵Ⅱ′

对于第三个64*64矩阵Ⅲ，先将其分为16个16*16矩阵，再分别求16个矩阵像素值的均值和方差，最后再将每个像素值减去求得的均值和方差，获得一个像素分布均匀的矩阵Ⅲ′；

通过上面的不同归一化处理，可输出三个不同的64*64矩阵I′、Ⅱ′、Ⅲ′；

步骤2.2：将矩阵I′、Ⅱ′、Ⅲ′再通过下采样公式：

其中n为原始编码单元的宽度64，p为添加宽度0，f为卷积宽度，s为步长分别设置为16、32、64，w为采样后的像素矩阵；先对每层矩阵进行不同的mean_pool操作，使得第一层64*64矩阵下采样成为16*16的矩阵，第二层64*64矩阵下采样成为32*32的矩阵，第三层64*64矩阵采样成为64*64的矩阵。