[发明专利]基于学习的视频编解码系统

摘要

本发明公开了一种基于学习的视频编解码框架，包括：空时域重构内存，用于存储经编码与解码之后的重构视频内容；空时域预测网络，用于利用重构视频内容的空时域相关性，通过卷积神经网络以及循环神经网络对其建模，输出当前编码块的预测值；预测值与原始值相减形成残差；迭代分析器与迭代合成器，逐级对输入残差编解码；二值化器，将迭代分析器的输出量化为二值表示；熵编码器，对量化后的编码输出进行熵编码，后获得输出码流；熵解码器，对输出码流进行熵解码，后输出给迭代合成器。该编码框架，通过基于学习的VoxelCNN(空时域预测网络)实现了空时域的预测，并用残差迭代编码的方法实现视频编码率失真优化的控制。

主权项

1.一种基于学习的视频编解码系统，其特征在于，包括：编码端与解码端；其中编码端包括：空时域重构内存、空时域预测网络、迭代分析器、迭代合成器、二值化器、熵编码器以及熵解码器；/n所述空时域重构内存，用于存储经编码与解码之后的重构视频内容；/n所述空时域预测网络，用于利用重构视频内容的空时域相关性，通过卷积神经网络以及循环神经网络对其建模，输出当前编码块的预测值；/n所述迭代分析器，包含卷积神经网络与循环神经网络结构，将所述空时域预测网络输出的预测值与原始值相减形成的残差作为输入，输出为该残差的压缩表达；/n所述迭代合成器，包含卷积神经网络与循环神经网络结构，接收熵解码器解码产生的上述残差的压缩表达，并叠加所述空时域预测网络输出的预测值，形成重构视频内容；/n所述熵编码器与所述熵解码器，逐级对输入残差编解码，所述迭代分析器与迭代合成器，通过增加码流为代价逐步减少残差的失真程度，实现高低码流情况下不同失真程度的编码；/n所述二值化器，将迭代分析器的输出量化为二值表示；/n所述熵编码器，对量化后的编码输出进行熵编码，后获得输出码流；/n所述熵解码器，对输出码流进行熵解码，后输出给迭代合成器；/n所述空时域预测网络计算编码块的预测值包含运动合成与混合预测两个过程，其中：/n运动合成为运动插补或者运动延伸操作，运动插补为通过重构视频内容相邻两帧获得物体运动轨迹并插补至相邻两帧之间，作为插补帧；运动延伸为通过重构视频内容的前两帧获得物体运动轨迹并向后延伸，从而获得一延伸帧；/n混合预测包含卷积及卷积LSTM结构，将插补帧或者延伸帧、插补帧的前后各一帧或者延伸帧的前两帧，以及位于当前帧中当前编码块上方与左方已经解码的块作为输入，通过学习对视频空时域信息的建模，生成当前帧中当前编码块的预测值；通过迭代计算，最终获得每一编码块的预测值。/n