[发明专利]用于生成动画的方法、装置、设备以及存储介质

权利要求书

1.一种用于生成动画的方法，包括：

获取人脸图像集合以及与所述人脸图像集合匹配的音频；

对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；

根据预先训练的嘴部信息确定模型以及所述音频，确定所述人脸对象的嘴部信息，其中，所述嘴部信息确定模型用于表征音频与嘴部信息的对应关系；

融合所述第一表情信息以及所述嘴部信息，确定第二表情信息；

基于所述头部姿态信息以及所述第二表情信息，生成动画。

2.根据权利要求1所述的方法，其中，所述融合所述第一表情信息以及所述嘴部信息，确定第二表情信息，包括：

确定所述第一表情信息对应的第一权重和所述嘴部信息对应的第二权重；

根据所述第一表情信息、所述第一权重、所述嘴部信息和所述第二权重，确定所述第二表情信息。

3.根据权利要求1所述的方法，其中，所述方法还包括：

输出所述第二表情信息；

接收针对所述第二表情信息的修改信息。

4.根据权利要求3所述的方法，其中，所述基于所述头部姿态信息以及所述第二表情信息，生成动画，包括：

基于所述头部姿态信息以及所述修改信息，生成动画。

5.根据权利要求1所述的方法，其中，所述对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息，包括：

提取所述人脸图像集合中人脸图像的特征信息；

根据所述特征信息以及预先训练的头部姿态信息确定模型，确定所述人脸对象的头部姿态信息，其中，所述头部姿态信息确定模型用于表征特征信息与头部姿态信息的对应关系；

根据所述特征信息以及预先训练的表情信息确定模型，确定所述人脸对象的第一表情信息，其中，所述表情信息确定模型用于表征特征信息与表情信息的对应关系。

6.根据权利要求1所述的方法，其中，所述嘴部信息确定模型通过以下步骤训练得到：

获取训练样本集合，所述训练样本包括音频以及与音频中各音素对应的标注嘴部信息；

将所述训练样本集合中训练样本的音频作为输入，将与所输入的音频中各音素对应的标注嘴部信息作为期望输出，训练得到所述嘴部信息确定模型。

7.一种用于生成动画的装置，包括：

获取单元，被配置成获取人脸图像集合以及与所述人脸图像集合匹配的音频；

第一确定单元，被配置成对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；

第二确定单元，被配置成根据预先训练的嘴部信息确定模型以及所述音频，确定所述人脸对象的嘴部信息，其中，所述嘴部信息确定模型用于表征音频与嘴部信息的对应关系；

融合单元，被配置成融合所述第一表情信息以及所述嘴部信息，确定第二表情信息；

生成单元，被配置成基于所述头部姿态信息以及所述第二表情信息，生成动画。

8.根据权利要求7所述的装置，其中，所述融合单元进一步被配置成：

确定所述第一表情信息对应的第一权重和所述嘴部信息对应的第二权重；

根据所述第一表情信息、所述第一权重、所述嘴部信息和所述第二权重，确定所述第二表情信息。

9.根据权利要求7所述的装置，其中，所述装置还包括接收单元，被配置成：

输出所述第二表情信息；

接收针对所述第二表情信息的修改信息。

10.根据权利要求9所述的装置，其中，所述生成单元进一步被配置成：

基于所述头部姿态信息以及所述修改信息，生成动画。