[发明专利]模型的训练方法、视频信息生成方法、设备以及存储介质

权利要求书

1.一种模型的训练方法，其特征在于，包括：

获取第一视频样本，所述第一视频样本呈现有面部的动态表情信息；

根据所述第一视频样本中的图像帧进行模型的迭代训练，直至损失函数的值收敛至预设值时，得到深度识别模型；

在第i次迭代训练过程中，将第i个图像帧输入初始识别模型，得到所述第i个图像帧的深度图像，i为正整数；

根据所述第i个图像帧的深度图像和所述第i+n个图像帧，确定所述初始识别模型在所述第i次迭代训练下的损失函数值，n为正整数；

其中，所述深度识别模型用于识别得到待识别图像的深度图像，所述深度图像用于反映所述待识别图像中可见表面的三维几何形状，所述待识别图像呈现有面部表情。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第i个图像帧的深度图像和所述第i+n个图像帧，确定所述初始识别模型在所述第i次迭代训练下的损失函数值，包括：

将第i+n个图像帧与所述第i个图像帧的拼接图像输入姿态网络，得到所述第i个图像帧和所述第i+n个图像帧之间的变换参数；

根据所述第i个图像帧的深度图像、所述第i+n个图像帧和所述变换参数，确定所述初始识别模型的损失函数值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第i个图像帧的深度图像、所述第i+1个图像帧和所述变换参数，确定所述初始识别模型的损失函数值，包括：

根据所述第i个图像帧的深度图像、所述第i+n个图像帧的像素矩阵和所述变换参数，进行几何变换，得到第i个图像帧的变换深度图像；

根据所述第i个图像帧的变换深度图像，进行图像重建，得到第i个图像帧的重建图像；

确定所述第i个图像帧和所述重建图像之间的一致性误差，并将所述一致性误差作为所述损失函数值。

4.根据权利要求2或3所述的方法，其特征在于，所述变换参数包括相机内参和/或相机外参。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

获取训练集，所述训练集包括驱动视频样本和面部图像样本，所述驱动视频样本包括用于合成面部视频的动态表情信息；

采用生成对抗网络，利用所述训练集对初始生成模型进行模型训练，得到视频生成模型，所述初始生成模型包括所述深度识别模型。

6.一种视频信息生成方法，其特征在于，包括：

获取面部图像和驱动图像，所述驱动图像为驱动视频中的一个图像帧，所述驱动视频包括用于合成面部视频的动态表情信息；

通过深度识别模型获取所述面部图像和所述驱动图像分别对应的深度图像，所述深度图像用于反映图像中可见表面的三维几何形状，所述深度识别模型为基于视频样本中的每两个间隔为n的图像帧训练得到的，n为正整数；

根据所述面部图像和所述驱动图像分别对应的深度图像，对所述面部图像进行特征变换，得到所述面部图像在所述驱动图像下的目标面部图像，所述目标面部图像呈现的面部表情与所述驱动图像呈现的面部表情之间的相似度大于阈值。

7.根据权利要求6所述的方法，其特征在于，所述根据所述面部图像和所述驱动图像分别对应的深度图像，对所述面部图像进行特征变换，得到所述面部图像在所述驱动图像下的目标面部图像，包括：

根据所述面部图像和所述驱动图像分别对应的深度图像，对所述面部图像进行特征变换，得到所述面部图像在所述驱动图像下的特征变换向量；

基于自注意力机制，根据所述面部图像对应的深度图像，对所述面部图像的特征变换向量进行重构；

根据重构后的特征变换向量，得到所述目标面部图像。