[发明专利]基于学习的视频编解码系统

说明书

本发明公开了一种基于学习的视频编解码框架，包括：空时域重构内存，用于存储经编码与解码之后的重构视频内容；空时域预测网络，用于利用重构视频内容的空时域相关性，通过卷积神经网络以及循环神经网络对其建模，输出当前编码块的预测值；预测值与原始值相减形成残差；迭代分析器与迭代合成器，逐级对输入残差编解码；二值化器，将迭代分析器的输出量化为二值表示；熵编码器，对量化后的编码输出进行熵编码，后获得输出码流；熵解码器，对输出码流进行熵解码，后输出给迭代合成器。该编码框架，通过基于学习的VoxelCNN(空时域预测网络)实现了空时域的预测，并用残差迭代编码的方法实现视频编码率失真优化的控制。

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种基于学习的视频编解码框架。

背景技术

现有的图像视频编码标准诸如：JPEG、H.261、MPEG-2、H.264、H.265，均基于混合编码框架。经过多年的发展，编码性能的提升伴随着复杂度的不断增加，进一步在现有混合编码架构下提升编码性能也面临越来越多的挑战。

但是，目前混合编码框架通常按照启发式的方法实现图像视频的优化编码，越来越难以满足当下诸如人脸识别、目标跟踪、图像检索等复杂、智能的媒体应用需求。

发明内容

本发明的目的是提供一种基于学习的视频编解码框架，可以实现视频编码率失真优化的控制。

本发明的目的是通过以下技术方案实现的：

一种基于学习的视频编解码框架，其特征在于，包括：编码端与解码端；其中编码端包括：空时域重构内存、空时域预测网络、迭代分析器、迭代合成器、二值化器、熵编码器以及熵解码器；

所述空时域重构内存，用于存储经编码与解码之后的重构视频内容；

所述空时域预测网络，用于利用重构视频内容的空时域相关性，通过卷积神经网络以及循环神经网络对其建模，输出当前编码块的预测值；

所述迭代分析器，包含卷积神经网络与循环神经网络结构，将所述空时域预测网络输出的预测值与原始相减形成的残差作为输入，输出为该残差的压缩表达；

所述迭代合成器，包含卷积神经网络与循环神经网络结构，接收熵解码器解码产生的上述残差的压缩表达，并叠加所述空时域预测网络输出的预测值，形成重构视频内容；

所述迭代分析器与迭代合成器，逐级对输入残差编解码，通过增加码流为代价逐步减少残差的失真程度，实现高低码流情况下不同失真程度的编码；

所述二值化器，将迭代分析器的输出量化为二值表示；

所述熵编码器，对量化后的编码输出进行熵编码，后获得输出码流；

所述熵解码器，对输出码流进行熵解码，后输出给迭代合成器。

由上述本发明提供的技术方案可以看出，集成了空时域预测与残差迭代编码方法，通过基于学习的VoxelCNN(空时域预测网络)实现了空时域的预测，并用残差迭代编码的方法实现视频编码率失真优化的控制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于学习的视频编解码框架示意图；

图2为本发明实施例提供的视频编解码框架的主要处理过程示意图；

图3为本发明实施例提供的运动插补过程示意图；

图4为本发明实施例提供的运动延伸过程示意图。