[发明专利]一种基于神经网络的视频编码系统及方法

摘要

本发明提供了一种基于神经网络的视频编码系统，包括时域下采样模块、帧内编解码模块、帧间编解码模块、时域上采样模块。该视频编码系统将神经网络与传统视频编码框架有效地结合起来，既能利用到传统框架中已有的精细设计，也能发挥神经网络在数据压缩领域的作用。本发明中的编码系统组合较为灵活，每个编码组件都可以基于传统方式或神经网络方式。本发明也给出了一种采用基于神经网络的视频编码系统的视频编码方法，使用该方法能减少大量人工设计编码器的繁琐，大幅提高编码效率。

主权项

1.一种基于神经网络的视频编码框架，其特征在于，包括时域下采样模块、帧内编解码模块、帧间编解码模块、时域上采样模块；时域下采样模块、帧内编解码模块或帧间编解码模块、时域上采样模块从输入到输出顺序连接，帧内编解码模块和帧间编解码模块为并列关系；/n所述时域下采样模块将原始帧率视频序列每跳过k帧保留1帧，保留的视频帧组成低帧率视频序列；/n所述时域上采样模块利用插帧神经网络，输入低帧率视频序列，输出原始帧率视频序列，输出的视频序列为解码视频序列；/n所述帧内编解码模块包括块划分模块、空域下采样模块、帧内编码子模块、神经网络自编码器子模块、残差编码模块、空域上采样模块；块划分模块、空域下采样模块、帧内编码子模块或神经网络自编码器子模块、残差编码模块、空域上采样模块从输入到输出顺序连接，帧内编码子模块或神经网络自编码器子模块为并列关系；/n所述帧间编解码模块包括块划分模块、空域下采样模块、预测模块、帧间编码子模块、神经网络帧间编码子模块、残差编码模块、空域上采样模块；块划分模块、空域下采样模块、预测模块、帧间编码子模块或神经网络帧间编码子模块、残差编码模块、空域上采样模块从输入到输出顺序连接，帧间编码子模块和神经网络帧间编码子模块为并列关系；/n其中，块划分模块、空域下采样模块、残差编码模块和空域上采样模块四个模块是帧内编解码模块和帧间编解码模块共用的模块；/n所述空域下采样模块用于对视频帧或图像块进行尺寸下采样，以视频帧或图像块作为输入，通过卷积神经网络，输出原分辨率二分之一或四分之一的重建视频帧或重建图像块；/n所述空域上采样模块用于将被空域下采样模块下采样后的视频帧或图像块使用超分辨网络方法，输出原始分辨率的视频帧或图像块；/n所述块划分模块用于将视频帧使用H.266/VVC中的CTU/CU划分方式划分为图像块，块划分模块的输入为一个视频帧，输出为多个图像块；/n所述残差编解码模块采用熵编码技术或者自编码器技术用于实现预测残差与二进制码流间的转换；/n所述帧内编码子模块采用预测编码或变换编码或熵编码技术，实现原始图像与二进制码流之间的转换；/n所述神经网络自编码器子模块采用神经网络技术，实现原始图像与二进制码流之间的转换；/n所述预测模块采用前向预测或后向预测或双向预测技术对输入视频帧的下一帧进行预测；/n所述帧间编码子模块利用运动搜索或运动补偿术在帧间帧中寻找到与当前输入图像块均方误差最小的图像块，编码该均方误差最小的图像块的运动矢量，得到二进制码流；/n所述神经网络帧间编码子模块采用神经网络技术，根据输入的帧间重建视频帧或帧间重建图像块信息，预测下一个帧间视频帧或帧间图像块。/n