[发明专利]一种3D视频智能多域联合预测编码方法及装置

权利要求书

1.一种3D视频智能多域联合预测编码方法，其特征在于，所述方法包括以下步骤：

1)获取多域参考信息：

将当前编码块的左侧、上方以及左上方在步长范围内的重构像素区域作为空域参考信息；将相邻帧时域相关性的帧间预测块作为时域参考信息，帧间预测块为通过3D-HEVC中帧间预测技术获得；将通过视点合成预测技术获得的视点合成预测块作为视点间参考信息；

2)构建时空预测网络，以时空域参考信息为输入，获得时空域预测结果；

3)根据时空域预测结果和视点合成预测块构建多域联合预测网络，获得最终的多域预测结果；

其中，所述以时空域参考信息为输入具体为：

从码流中提取当前编码块空域相邻已编码像素区域作为空域参考信息，将帧间预测块和空域相邻已编码像素区域拼接为一个完整的方形块，作为时空预测网络的输入；

所述多域联合预测网络包括：多参考特征融合模块，多尺度编码模块和重建模块；

所述多参考特征融合模块用于实现时空域预测块和视点合成预测块从图像空间的级联到特性空间的融合；

所述多尺度编码模块用于利用不同尺度的特征信息，提取有效特征，包括：多尺度编码单元，

所述多尺度编码单元由一个inception模块和一个通道注意力模块组成；

所述inception模块用于提取具有多个卷积层数量的多个分支的多尺度特征；

所述通道注意力模块用于学习由inception模块获得的特征图的通道权重。

2.根据权利要求1所述的一种3D视频智能多域联合预测编码方法，其特征在于，

所述重建模块用于获得特征空间中的残差信号，将残差信号与多域基础预测块进行逐元素相加以获得最终的多域预测结果；

其中，所述多域基础预测块为：对视点合成预测块和时空预测块进行逐像素相加取平均。

3.根据权利要求2所述的一种3D视频智能多域联合预测编码方法，其特征在于，所述多域联合预测网络的数学模型为：

P_md＝f_md(P_ts,P_v|θ_md)+f_ave(P_ts,P_v)

其中，f_md()是一个非线性映射函数，f_ave()表示多域基础预测，θ_md表示网络参数，P_ts表示时空预测块，P_v表示视点合成预测块；

损失函数为：

其中，n为训练样本数量，T表示当前编码块原始像素值。

4.根据权利要求1-3中任一权利要求所述的一种3D视频智能多域联合预测编码方法，其特征在于，当标志位为1时，对编码块进行编码。

5.一种3D视频智能多域联合预测编码装置，所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的方法步骤。