[发明专利]基于多模态数据的虚拟人物驱动方法、系统及设备

权利要求书

1.一种基于多模态数据的虚拟人物驱动方法，其特征在于，包括：

获取虚拟人物的三维形象渲染模型以利用虚拟人物提供对用户的交互服务；

在虚拟人物与用户的一轮对话过程中，实时获取用户输入的语音数据和所述用户的图像数据；

当检测到所述用户输入的语音数据的静默时长大于或等于预设时长时，若确定所述语音输入未结束，则将上一时段内所述用户输入的语音数据转换为对应的文本信息，所述上一时段为自上一次静默时长大于或等于预设时长的时刻至当前时刻；

根据所述上一时段内所述用户的图像数据识别所述用户的手势信息，并根据所述用户的手势信息和所述文本信息，确定所述用户的手势信息对应的手势意图分类；

根据所述用户的手势信息对应的手势意图分类，以及当前的对话状态，确定对应的驱动数据；

根据所述驱动数据和虚拟人物的三维形象渲染模型，驱动虚拟人物执行对应的响应行为。

2.根据权利要求1所述的方法，其特征在于，所述根据所述上一时段内所述用户的图像数据识别所述用户的手势信息，并根据所述用户的手势信息和所述文本信息，确定所述用户的手势信息对应的手势意图分类，包括：

将所述文本信息与所述上一时段内所述用户的图像数据输入训练好的多模态分类模型，通过所述多模态分类模型，根据所述上一时段内所述用户的图像数据识别所述用户的手势信息，提取所述文本信息的语义特征，根据所述用户的手势信息和所述文本信息的语义特征，进行多模态分类处理，确定所述用户的手势信息对应的手势意图分类。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

响应于响应策略配置操作，配置以下至少一类响应策略：

打断策略、承接策略、开启新一轮对话、无反馈；

其中，每一类响应策略包括一个或者多个响应策略，每一所述响应策略包括对应的手势意图分类、响应时间和响应方式。

4.根据权利要求3所述的方法，其特征在于，所述根据所述用户的手势信息对应的手势意图分类，以及当前的对话状态，确定对应的驱动数据，包括：

若当前的对话状态为用户输入虚拟人物接收的状态，则根据所述用户的手势信息对应的手势意图分类，确定所述手势意图分类对应的第一目标策略，所述第一目标策略为承接策略、开启新一轮对话或无反馈中的一种；

根据所述手势意图分类对应的第一目标策略，确定对应的驱动数据，所述驱动数据用于驱动虚拟人物执行所述第一目标策略对应的响应行为。

5.根据权利要求4所述的方法，其特征在于，所述根据所述手势意图分类对应的第一目标策略，确定对应的驱动数据，包括：

若所述第一目标策略为承接策略，则根据所述承接策略，确定第一驱动数据，所述第一驱动数据用于驱动虚拟人物执行做出承接动作、播报承接文案中的至少一种承接响应行为，其中，所述承接动作包括手部动作、面部动作中的至少一种。

6.根据权利要求3所述的方法，其特征在于，所述根据所述用户的手势信息对应的手势意图分类，以及当前的对话状态，确定对应的驱动数据，包括：

若当前的对话状态为虚拟人物输出用户接收的状态，则根据所述用户的手势信息对应的手势意图分类，确定所述手势意图分类对应的第二目标策略，所述第二目标策略为打断策略、开启新一轮对话或无反馈中的一种；

根据所述手势意图分类对应的第二目标策略，确定第二驱动数据，所述第二驱动数据用于驱动虚拟人物执行所述第二目标策略对应的响应行为。