[发明专利]基于泰勒解耦和记忆单元校正的视频预测方法

权利要求书

1.基于泰勒解耦和记忆单元校正的视频预测方法，其特征在于包括以下步骤：

步骤1、将所有视频帧从像素值范围[0,255]归一化到[0,1]；

步骤2、将输入视频帧的第一帧x₀送入编码器E，得到16×16×64的深度特征u₀，然后将u₀分别送入泰勒编码器和残差编码器，得到泰勒分量和残差分量

步骤3、将泰勒分量送入泰勒模型，推导出下一时刻的预测泰勒分量再将送入泰勒解码器得到预测泰勒特征

步骤4、将残差分量送入残差模型，推导出下一时刻的预测残差分量再将送入残差解码器得到预测残差特征

步骤5、将预测泰勒特征和预测残差特征相加，将和送入解码器D，得到下一时刻的预测帧

步骤6、让剩余所有除最后一帧外的输入视频帧依次完成步骤2～5，得到预测输入视频帧

步骤7、让最后一帧输入视频帧x_t-1依次完成步骤2～5，得到第一帧预测目标视频帧

步骤8、让预测目标视频帧(这是学生训练模式，教师训练模式下使用真实目标视频帧，每次训练时学生模式和教师模式的概率都是0.5)完成步骤2～5，得到下一时刻的预测目标视频帧；

步骤9、重复步骤8直到输出所有的预测目标视频帧；

步骤10、调整所有预测目标视频帧的像素值范围从[0,1]到[0,255]，得到最终的预测目标视频序列。

2.根据权利要求1所述的基于泰勒解耦和记忆单元校正的视频预测方法，其特征在于，所述步骤2的编码模块处理输入视频帧的具体方法包括以下步骤：

⑴编码器E使用三层级联的卷积层提取视频帧的深度特征，将低维的视频帧信息在高维特征空间展开。三层卷积核分别是3×3×32、3×3×32、3×3×64，最后得到深度特征维度为16×16×64；

⑵泰勒编码器使用两层级联的卷积层，在高维的特征空间中提取视频帧深度特征的泰勒分量。两层卷积核分别是3×3×64、3×3×64；

⑶残差编码器使用两层级联的卷积层，在高维的特征空间中提取视频帧深度特征的残差分量。两层卷积核分别是3×3×64、3×3×64。

3.根据权利要求1所述的基于泰勒解耦和记忆单元校正的视频预测方法，其特征在于，所述步骤3的泰勒分量推导和解码的具体方法包括以下步骤：

⑴将输入视频帧的第一帧x₀得到的泰勒分量送入偏微分模型得到将再次送入偏微分模型得到再用记忆单元K_t对进行校正可以得到时刻t的预测泰勒分量

⑵将预测泰勒分量送入两层级联的卷积层进行解码，将泰勒特征空间转换为融合特征空间，两层卷积核分别是3×3×64、3×3×64。

4.根据权利要求3所述的基于泰勒解耦和记忆单元校正的视频预测方法，其特征在于：所述步骤⑴的记忆单元校正的具体方法包括以下步骤：

①将t-1时刻的输入视频帧依次送入编码器E和泰勒编码器，得到此视频帧的泰勒分量然后将它和记忆单元的隐藏状态e_t-1级联，通过一层卷积层得到更新门z和重置门r，然后通过一层卷积层，得到候选状态再用候选状态对隐藏状态进行更新，得到记忆单元t时刻的隐藏状态

②将e_t和级联，通过一层卷积层得到t时刻的校正项K_t，再用K_t对进行校正，得到t时刻的预测泰勒分量