[发明专利]一种虚拟角色控制方法、装置、计算机设备以及存储介质

权利要求书

1.一种虚拟角色控制方法，其特征在于，应用于通过捕捉虚拟角色控制对象的面部表情来驱动虚拟角色做出对应面部表情的场景，所述方法包括：

获取虚拟角色控制对象的表情数据；所述表情数据包括所述虚拟角色控制对象的人脸图像、所述虚拟角色控制对象脸部的混合形状blendshape数据、以及所述虚拟角色控制对象的音频数据；

基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，并确定与所述情绪状态信息匹配的脸部动作数据；所述情绪状态信息包括情绪类别和情绪强度；

基于所述表情数据中的音频数据，确定所述虚拟角色控制对象的音频属性特征，并确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据；

基于所述脸部动作数据和所述口型动作数据，生成用于驱动虚拟角色做出相应面部表情的面部表情数据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，包括：

将所述人脸图像、blendshape数据、以及音频数据分别对应的特征数据，输入预先训练的深度学习模型，得到所述深度学习模型输出的所述虚拟角色控制对象的情绪状态信息。

3.根据权利要求1所述的方法，其特征在于，所述确定与所述情绪状态信息匹配的脸部动作数据，包括：

获取与所述情绪状态信息对应的美术制作的第一脸部动作数据；

将所述第一脸部动作数据，与获取的所述表情数据中的混合形状blendshape数据进行数据融合，得到第二脸部动作数据，将所述第二脸部动作数据作为确定的所述与所述情绪状态信息匹配的脸部动作数据。

4.根据权利要求3所述的方法，其特征在于，所述获取与所述情绪状态信息对应的美术制作的第一脸部动作数据，包括：

根据所述情绪状态信息中的情绪类别，获取与所述情绪类别匹配的所述第一脸部动作数据；

所述将所述第一脸部动作数据，与获取的所述表情数据中的混合形状blendshape数据进行数据融合，得到第二脸部动作数据，包括：

根据所述情绪状态信息中的情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重；

根据所述第一权重和第二权重，将所述第一脸部动作数据与所述blendshape数据进行数据融合，得到所述第二脸部动作数据。

5.根据权利要求4所述的方法，其特征在于，根据所述情绪状态信息中的情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重，包括：

获取所述情绪类别的当前持续时长；

根据所述当前持续时长，以及所述情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重。

6.根据权利要求1所述的方法，其特征在于，所述确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据，包括：

根据所述音频属性特征，确定所述虚拟角色控制对象的目标口型类型；

基于与所述情绪状态信息对应的多种口型类型的口型动作数据，以及所述目标口型类型，确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据。

7.根据权利要求6所述的方法，其特征在于，所述表情数据为按照预设的时间周期获取的；

所述基于与所述情绪状态信息对应的多种口型类型的口型动作数据，以及所述目标口型类型，确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据，包括：

从与所述情绪状态信息对应的多种口型类型的口型动作数据中，选择与所述目标口型类型对应的目标口型动作数据；

根据基于前一时间周期获取的表情数据确定的前一目标口型动作数据，以及当前选择的所述目标口型动作数据，确定在当前时间周期内，从前一目标口型动作数据过渡到当前选择的目标口型动作数据的各帧动画的口型动作数据。