[发明专利]一种3D视频智能多域联合预测编码方法及装置

说明书

本发明公开了一种3D视频智能多域联合预测编码方法及装置，包括：1)获取多域参考信息：将当前编码块的左侧、上方以及左上方在步长范围内的重构像素区域作为空域参考信息；将相邻帧时域相关性的帧间预测块作为时域参考信息；将通过视点合成预测技术获得的视点合成预测块作为视点间参考信息；2)构建时空预测网络，以时空域参考信息为输入，获得时空域预测结果；3)根据时空域预测结果和视点合成预测块构建多域联合预测网络，获得最终的多域预测结果。装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的方法步骤。

技术领域

本发明涉及3D视频编码领域，尤其涉及一种3D视频智能多域联合预测编码方法及装置。

背景技术

随着3D技术的发展，3D视频编码成为多媒体领域的一大研究热点。3D视频相比于2D视频，具有更多的数据量，给视频的存储和传输带来了巨大挑战。因此，如何实现高效的3D视频压缩编码具有重要的理论研究意义和实际应用价值。

HEVC(High Efficiency Video Coding，高效视频编码)作为新一代视频编码标准，有效提升了压缩效率。作为HEVC的3D扩展，3D-HEVC采用基于MVD(Multiview Videoplus Depth，多视点加深度)视频格式的编码架构，在HEVC已有技术基础上，新增了用于多视点视频和深度视频编码的技术。3D-HEVC编码标准在对3D视频序列进行压缩编码时，是基于块进行的。对于当前待编码块，帧内预测利用了视频序列的空间相关性，帧间预测利用了视频序列的时间相关性，视点间预测利用了视频序列的视点间相关性。如何融合利用视频序列的空域相关性、时域相关性、视点域相关性，对当前待编码块进行预测编码，成为提高预测准确度的关键。

近年来，随着人工智能的发展，尤其是深度学习技术在3D技术领域的发展，为视频压缩编码提供了新的思路。Huo针对平面彩色视频，利用当前编码块的空域相邻已编码像素信息，提出了一种基于CNN的运动补偿增强(CNNMCR)方法。Wang针对HEVC的帧间预测只利用视频的时域信息导致预测准确度受限的问题，提出了一种结合时空信息并利用神经网络得到更准确帧间预测的方法。受此启发，利用深度网络学习3D视频的多域相关性，更大程度去除冗余信息，从而实现3D视频的高效压缩编码，具有重要的研究意义和研究价值。

深度学习用于视频编码领域经证实已取得了一定的效果，然而这些算法限于平面视频领域，在3D视频编码方面，基于深度学习的方法还不是很多；特别是对于3D视频的时域、空域、视点域相关性，目前并未有方法将多域信息融合进行预测编码，3D视频的多域相关性没有得到充分利用。

发明内容

本发明提供了一种3D视频智能多域联合预测编码方法及装置，本发明综合分析挖掘3D视频的时域、空域和视点域相关性，提出用CNN融合多域参考信息，并提出一种分级多域预测机制来解决多域参考信息融合的问题；此外，在分级预测机制中，构建了一种有效的多域联合预测网络，且在网络中设计了一个多尺度编码单元用以提取特征，用CNN解决3D视频的多域联合预测问题，详见下文描述：

一种3D视频智能多域联合预测编码方法，所述方法包括以下步骤：

1)获取多域参考信息：

将当前编码块的左侧、上方以及左上方在步长范围内的重构像素区域作为空域参考信息；将相邻帧时域相关性的帧间预测块作为时域参考信息；将通过视点合成预测技术获得的视点合成预测块作为视点间参考信息；

2)构建时空预测网络，以时空域参考信息为输入，获得时空域预测结果；

3)根据时空域预测结果和视点合成预测块构建多域联合预测网络，获得最终的多域预测结果。

其中，所述以时空域参考信息为输入具体为：