[发明专利]跨特征尺度的智能视频编码方法、系统、设备及存储介质

说明书

本发明公开了一种跨特征尺度的智能视频编码方法、系统、设备及存储介质，适用于智能视频编码任务，能够产生更加内容自适应的预测结果，从而提升编码效果，具体来说：1)能够构建不同尺度下的预测特征源，用来更好的对不同运动内容的视频进行预测。2)传输了跨尺度的运动矢量，可以从多尺度的参考源中采样，生成单一尺度的预测结果。3)通过隐式传输跨尺度的权重图来指导跨尺度的预测，也就是单参考帧预测场景下，一种新的加权预测的机制，通过这种加权预测机制，可以融合不同尺度下的采样结果，来产生更加适合视频内容的预测结果。

技术领域

本发明涉及视频压缩编码技术领域，尤其涉及一种跨特征尺度的智能视频编码方法、系统、设备及存储介质。

背景技术

视频的压缩编码是电子信息时代的重要技术，对于减小视频的传输带宽与存储消耗非常重要。视频压缩本质上通过控制码率(表征视频所需要的二进制数据大小)与失真(恢复图像视频与原图像视频的差异)之间的关系，来实现信息的有效表征。简单来说，码率越大，对于原始视频的压缩失真往往更小。但是同时由于码率更大，压缩后视频所需要的存储空间或者传输带宽也更大。

基于人工智能网络的端到端视频编码框架从概念上将视频编码分为两个主要步骤，例如，参见文献1(Lu G,et al.DVC:an end-to-end deep video compressionframework.CVPR2019)，包括：步骤1、编码描述相邻视频帧之间的运动位移矢量，并通过解码得到的运动位移矢量来预测要编码的视频帧。步骤2、在得到对当前要编码的视频帧的一个预测结果之后，压缩没有被预测好的内容，也就是所谓预测后的残差。

文献1中将视频帧之间的运动位移矢量表示成光流的形式，通过深度图像压缩技术来压缩该光流，同时利用类似的深度图像压缩技术来压缩预测后的残差。也就是说，常用的方法是将视频帧间运动信息和预测后的残差分别表示成为图像的形式，然后分别用图像压缩器来编码压缩。常用的深度图像压缩器可以参见文献2(BalléJ,Minnen D,Singh S,etal.Variational image compression with a scale hyperprior[J].ICLR,2018.)。

但是，仅仅通过光流来表示视频帧间的运动关系是不行的，例如，在运动较剧烈的区域无法用准确的光流来进行预测。

发明内容

本发明的目的是提供一种跨特征尺度的智能视频编码方法、系统、设备及存储介质，适用于智能视频编码任务，能够产生更加内容自适应的预测结果，从而提升编码效果。

本发明的目的是通过以下技术方案实现的：

一种跨特征尺度的智能视频编码方法，包括：

将参考帧变换到多个特征尺度空间，并对每一特征尺度空间的参考帧进行特征提取，获得多尺度参考特征；

将参考帧的原始特征与当前编码帧的特征相联结，通过一个自编码器隐式的生成运动信息并传输，通过解码出的运动信息产生跨尺度的运动位移矢量与跨尺度权重图，通过跨尺度的运动位移矢量在多尺度参考特征中采样，获得多尺度的采样结果，利用跨尺度权重图对所述多尺度的采样结果进行加权，获得当前编码帧的预测特征；

利用当前编码帧的预测特征计算特征维度的残差，并进行当前编码帧的重建。

一种跨特征尺度的智能视频编码系统，该系统包括：

多尺度参考特征提取单元，用于将参考帧变换到多个特征尺度空间，并对每一特征尺度空间的参考帧进行特征提取，获得多尺度参考特征；

跨尺度加权预测单元，用于将参考帧的原始特征与当前编码帧的特征相联结，通过一个自编码器隐式的生成运动信息并传输，通过解码出的运动信息产生跨尺度的运动位移矢量与跨尺度权重图，通过跨尺度的运动位移矢量在多尺度参考特征中采样，获得多尺度的采样结果，利用跨尺度权重图对所述多尺度的采样结果进行加权，获得当前编码帧的预测特征；