[发明专利]多参考帧间预测方法、系统、设备及存储介质

说明书

本发明公开了一种多参考帧间预测方法、系统、设备及存储介质，相关方法包括：将当前视频帧的所有参考帧堆叠为三维张量，并结合当前视频帧通过运动信息编解码器生成包含运动信息的量化隐变量与体素流集合；利用所述三维张量与体素流集合进行加权插值处理，获得预测帧；利用所述预测帧与当前视频帧进行残差编码，生成包含残差信息的量化隐变量；对所述包含运动信息的量化隐变量和包含残差信息的量化隐变量分别做熵编码得到所需传输的码流；解码过程中，利用所述三维张量以及从所述码流中解码出的体素流与残差信息，重建当前视频帧。本发明公开的方案能灵活适用于不同预测模式，并且能利用多个位置的参考像素信息以提高帧间压缩性能。

技术领域

本发明涉及视频压缩编码技术领域，尤其涉及一种多参考帧间预测方法、系统、设备及存储介质。

背景技术

视频的压缩编码是电子信息时代的重要技术，有助于减小视频的传输带宽与存储消耗。视频编码的主要目标是去除视频帧之间的时域相关性，从而获得更高的率失真性能。

有损视频压缩编码技术可以分为传统编码方法和基于深度学习的编码方法。传统视频编码是一种发展了几十年的成熟方案，采用混合编解码框架，代表算法有H.264/AVC，H.265/HEVC和H.266/VVC。而深度视频编解码结合了神经网络训练，是近几年提出的一种端到端优化的新框架。

目前主流视频压缩编码方法是先通过运动补偿利用参考帧来预测当前需要编码的视频帧，然后编码预测帧和当前帧的残差，从而去除时域冗余。在这其中，准确高效的帧间预测方法扮演着非常重要的角色。现有的方法通常使用单个光流运动补偿的方式来实现帧间预测。具体来说，预测帧的每个像素具备一个运动矢量(光流)，其预测的像素值是根据光流，由参考帧中目标位置的像素双线性插值得到。然而，这种方法存在以下缺点：1)只适用于单参考帧场景，难以灵活应用于不同模式下多参考帧间预测，2)预测帧的每个目标像素只由一个位置的参考像素预测得到，无法利用多个位置的参考像素信息，预测准确度有限。

发明内容

本发明的目的是提供一种多参考帧间预测方法、系统、设备及存储介质，能灵活适用于不同预测模式，并且能利用多个位置的参考像素信息以提高帧间压缩性能。

本发明的目的是通过以下技术方案实现的：

一种用于深度视频编码的多参考帧间预测方法，包括：

将当前视频帧的所有参考帧堆叠为三维张量，并结合当前视频帧通过运动信息编解码器生成包含运动信息的量化隐变量与体素流集合；

利用所述三维张量与体素流集合进行加权插值处理，获得预测帧；

利用所述预测帧与当前视频帧进行残差编码，生成包含残差信息的量化隐变量；

对所述包含运动信息的量化隐变量和包含残差信息的量化隐变量分别做熵编码得到所需传输的码流；

解码过程中，利用所述三维张量以及所述码流中解码出的体素流集合与残差信息，重建当前视频帧。

一种用于深度视频编码的多参考帧间预测系统，用于实现前述的方法，该系统包括：

运动信息编解码模块，用于将当前视频帧的所有参考帧堆叠为三维张量，并结合当前视频帧通过运动信息编解码器生成包含运动信息的量化隐变量与体素流集合；

预测模块，用于利用所述三维张量与体素流集合进行加权插值处理，获得预测帧；

残差编码模块，用于利用所述预测帧与当前视频帧进行残差编码，生成包含残差信息的量化隐变量；

码流生成模块，对所述包含运动信息的量化隐变量和包含残差信息的量化隐变量分别做熵编码得到所需传输的码流；

解码模块，用于在解码过程中，利用所述三维张量以及所述码流中解码出的体素流集合与残差信息，重建当前视频帧。