[发明专利]一种基于神经网络的视频编码系统及方法

权利要求书

1.一种基于神经网络的视频编码系统，其特征在于，包括时域下采样模块、帧内编解码模块、帧间编解码模块、时域上采样模块；时域下采样模块、帧内编解码模块或帧间编解码模块、时域上采样模块从输入到输出顺序连接，帧内编解码模块和帧间编解码模块为并列关系；

所述时域下采样模块将原始帧率视频序列每跳过k帧保留1帧，保留的视频帧组成低帧率视频序列；

所述时域上采样模块利用插帧神经网络，输入低帧率视频序列，输出原始帧率视频序列，输出的视频序列为解码视频序列；

所述帧内编解码模块包括块划分模块、空域下采样模块、帧内编码子模块、神经网络自编码器子模块、残差编码模块、空域上采样模块；块划分模块、空域下采样模块、帧内编码子模块或神经网络自编码器子模块、残差编码模块、空域上采样模块从输入到输出顺序连接，帧内编码子模块或神经网络自编码器子模块为并列关系；

所述帧间编解码模块包括块划分模块、空域下采样模块、预测模块、帧间编码子模块、神经网络帧间编码子模块、残差编码模块、空域上采样模块；块划分模块、空域下采样模块、预测模块、帧间编码子模块或神经网络帧间编码子模块、残差编码模块、空域上采样模块从输入到输出顺序连接，帧间编码子模块和神经网络帧间编码子模块为并列关系；

其中，块划分模块、空域下采样模块、残差编码模块和空域上采样模块四个模块是帧内编解码模块和帧间编解码模块共用的模块；

所述空域下采样模块用于对视频帧或图像块进行尺寸下采样，以视频帧或图像块作为输入，通过卷积神经网络，输出原分辨率二分之一或四分之一的重建视频帧或重建图像块；

所述空域上采样模块用于将被空域下采样模块下采样后的视频帧或图像块使用超分辨网络方法，输出原始分辨率的视频帧或图像块；

所述块划分模块用于将视频帧使用H.266/VVC中的CTU/CU划分方式划分为图像块，块划分模块的输入为一个视频帧，输出为多个图像块；

所述残差编码模块采用熵编码技术或者自编码器技术用于实现预测残差与二进制码流间的转换；

所述帧内编码子模块采用预测编码或变换编码或熵编码技术，实现原始图像与二进制码流之间的转换；

所述神经网络自编码器子模块采用神经网络技术，实现原始图像与二进制码流之间的转换；

所述预测模块采用前向预测或后向预测或双向预测技术对输入视频帧的下一帧进行预测；

所述帧间编码子模块利用运动搜索或运动补偿术在帧间帧中寻找到与当前输入图像块均方误差最小的图像块，编码该均方误差最小的图像块的运动矢量，得到二进制码流；

所述神经网络帧间编码子模块采用神经网络技术，根据输入的帧间重建视频帧或帧间重建图像块信息，预测下一个帧间视频帧或帧间图像块。

2.一种采用权利要求1所述的基于神经网络的视频编码系统的视频编码方法，包括以下步骤：

步骤1：在原始视频序列中，将第一个视频帧指定为帧内帧，之后每间隔N个视频帧指定一个帧内帧，帧内帧之外的视频帧作为帧间帧；

步骤2：对原始视频序列，如果其帧率大于60FPS，则使用时域下采样模块将原始视频序列每跳过k帧选取1帧，得到低帧率视频序列；否则当帧率小于或等于60FPS时帧率保持不变；

步骤3：对每一个视频帧，使用块划分模块将该视频帧划分为图像块；

步骤4：对每一个视频帧或图像块，计算使用空域下采样模块将视频帧或图像块压缩到原分辨率的二分之一或四分之一之后的率失真性能值A，并和未使用空域下采样模块压缩的视频帧或图像块的率失真性能值B进行比较；如果AB，则使用空域下采样模块将视频帧或图像块压缩到原分辨率的二分之一或四分之一；否则如果A≤B，则保持视频帧或图像块不变；

步骤5：对于帧内帧，使用帧内编解码模块将帧内帧转换为二进制码流，再将二进制码流解码得到重建帧；对于帧间帧，使用帧间编解码模块将帧间帧转换为二进制码流，再将二进制码流解码得到重建帧；对于预测残差，使用残差编码模块将预测残差转换成二进制码流，再将二进制码流解码得到重建残差；

步骤6：对于由低帧率视频序列产生的重建帧，采用时域上采样模块，输入低帧率视频序列重建帧，利用插帧神经网络，输出原始帧率视频序列，得到解码视频；

步骤7：对于由原始帧率视频序列产生的重建帧，采用空域上采样模块，输入重建帧，使用超分辨网络，输出原始分辨率的视频帧，得到解码视频。