[发明专利]基于深度学习的动画生成模型训练、动画生成方法及装置

权利要求书

1.一种基于深度学习的动画生成模型训练方法，其特征在于，包括：

获取训练集序列，所述训练集序列包括多个关键帧序列，每个所述关键帧序列包括人物不同的行走姿态的多个关键帧图像，多个所述关键帧图像包括初始关键帧和对应的实际后序关键帧，所述初始关键帧为所述人物在初始状态下的行走姿态，所述实际后续关键帧为所述人物在初始状态之后的行走姿态；所述行走姿态包括人物的行走方向和行走动作；

将所述初始关键帧输入所述动画生成模型，确定预测后序关键帧；

所述动画生成模型包括第一级联网络和第二级联网络，所述预测后序关键帧包括第一级联后序关键帧和第二级联后序关键帧；将所述初始关键帧输入至所述第一级联网络，确定所述第一级联后序关键帧；将所述第一级联后序关键帧输入至所述第二级联网络，确定所述第二级联后序关键帧；

所述第一级联后序关键帧包括第一生成关键帧和第二生成关键帧；所述第二级联后序关键帧为第三生成关键帧；

所述第一生成关键帧与所述初始关键帧的所述行走方向相同、所述行走动作不同；所述第二生成关键帧与所述初始关键帧的所述行走方向不同、所述行走动作相同；所述第三生成关键帧与所述第二生成关键帧的所述行走方向相同、所述行走动作不同；

根据所述预测后序关键帧和所述实际后序关键帧确定损失函数的值；

根据所述损失函数的值调整所述动画生成模型的参数直至满足收敛条件，完成对所述动画生成模型的训练。

2.根据权利要求1所述的基于深度学习的动画生成模型训练方法，其特征在于，所述行走方向包括前方、后方、左方和右方，所述行走动作包括左腿迈出动作、右腿迈出动作和静止。

3.根据权利要求1所述的基于深度学习的动画生成模型训练方法，其特征在于，所述将所述初始关键帧输入至所述第一级联网络包括：

将所述初始关键帧镜像变换后，输入至所述第一级联网络。

4.根据权利要求1所述的基于深度学习的动画生成模型训练方法，其特征在于，所述第一级联网络包括第一生成子网络和第二生成子网络，将所述初始关键帧输入至所述第一级联网络，确定所述第一级联后序关键帧包括：

将所述初始关键帧输入至所述第一生成子网络，确定所述第一生成关键帧；

将所述初始关键帧输入至所述第二生成子网络，确定所述第二生成关键帧。

5.根据权利要求4所述的基于深度学习的动画生成模型训练方法，其特征在于，所述初始关键帧的所述行走方向包括第一方向，所述初始关键帧为第一方向初始帧，用于表示人物面对第一方向的初始状态，所述第一生成关键帧包括多个第一方向动作子帧，多个所述第一方向动作子帧的所述行走动作互不相同。

6.根据权利要求4所述的基于深度学习的动画生成模型训练方法，其特征在于，所述第二生成子网络包括生成器、第一判别器，其中：

所述生成器包括多个卷积层，所述生成器用于输出生成预测图；

所述第一判别器包括多个卷积层和全连接层，所述第一判别器用于比较所述生成预测图、所述初始关键帧和所述初始关键帧在所述第二生成子网络中对应的所述实际后序关键帧，所述第一判别器的输出为比较后的判别结果。

7.根据权利要求6所述的基于深度学习的动画生成模型训练方法，其特征在于，所述生成器的损失函数采用L1损失函数，所述第一判别器采用交叉熵损失函数。

8.根据权利要求4所述的基于深度学习的动画生成模型训练方法，其特征在于，所述第一级联后序关键帧输入至所述第二级联网络，确定所述第二级联后序关键帧包括：

将所述第二生成关键帧输入至所述第二级联网络，确定所述第三生成关键帧。