[发明专利]基于多模态数据的虚拟人物驱动方法、系统及设备

说明书

本申请提供一种基于多模态数据的虚拟人物驱动方法、系统及设备，涉及计算机技术中的人工智能、深度学习、机器学习、虚拟现实等领域。本申请的方法，在虚拟人物与用户的一轮对话过程中，实时获取用户输入的语音数据和用户的图像数据；当检测到用户输入的语音数据的静默时长大于或等于预设时长且语音输入未结束时，将上一时段内的语音数据转换为对应的文本信息，根据上一时段内用户的图像数据识别用户的手势信息，根据用户的手势信息和文本信息确定对应的手势意图分类，以实时地识别用户的手势意图，基于用户的手势意图驱动虚拟人物及时地执行对应的响应行为，提高了虚拟人物拟人化程度，使得虚拟人物与人的交互更顺畅、更智能。

技术领域

本申请涉及计算机技术中的人工智能、深度学习、机器学习、虚拟现实等领域，尤其涉及一种基于多模态数据的虚拟人物驱动方法、系统及设备。

背景技术

随着虚拟现实技术的发展，基于虚拟人物的人机交互在人们生活中的应用越来越普及，如可以广泛应用于智能客服、虚拟导师、智能家庭医生、虚拟主播等场景中。在真人面对面进行对话时，是可以基于对方的手势动作等信息进行及时地反馈的。现有的虚拟人物与人的交互中，用户(真人)大多通过终端触控屏显示的系统页面，通过文字输入或触发页面控件等方式进行留言、点赞、翻页等与虚拟人物的交互，缺乏虚拟人物与真人进行“面对面”交互的技术手段，导致虚拟人物的拟人化程度低，虚拟人物与人的交互过程不顺畅、不智能。

发明内容

本申请提供一种基于多模态数据的虚拟人物驱动方法、系统及设备，用以解决虚拟人物拟人化程度低，虚拟人物与人的交互过程不顺畅、不智能的问题。

第一方面，本申请提供一种基于多模态数据的虚拟人物驱动方法，包括：

获取虚拟人物的三维形象渲染模型以利用虚拟人物提供对用户的交互服务；

在虚拟人物与用户的一轮对话过程中，实时获取用户输入的语音数据和所述用户的图像数据；

当检测到所述用户输入的语音数据的静默时长大于或等于预设时长时，若确定所述语音输入未结束，则将上一时段内所述用户输入的语音数据转换为对应的文本信息，所述上一时段为自上一次静默时长大于或等于预设时长的时刻至当前时刻；

根据所述上一时段内所述用户的图像数据识别所述用户的手势信息，并根据所述用户的手势信息和所述文本信息，确定所述用户的手势信息对应的手势意图分类；

根据所述用户的手势信息对应的手势意图分类，以及当前的对话状态，确定对应的驱动数据；

根据所述驱动数据和虚拟人物的三维形象渲染模型，驱动虚拟人物执行对应的响应行为。

第二方面，本申请提供一种基于多模态数据的虚拟人物驱方法，包括：

获取虚拟人物的三维形象渲染模型，以利用虚拟人物向用户提供交互服务；

在虚拟人物与用户的一轮对话中，在用户进行语音输入的过程中，实时获取用户输入的语音数据和所述用户的图像数据；

当检测到所述语音输入的静默时长大于或等于预设时长时，若确定所述语音输入未结束，则根据上一时段内所述用户的图像数据识别所述用户的手势信息，所述上一时段为自上一次静默时长大于或等于预设时长的时刻至当前时刻；

根据所述用户的手势信息，若确定所述用户做出了需承接的手势，则确定虚拟人物的驱动数据；

根据所述驱动数据和虚拟人物的三维形象渲染模型，驱动虚拟人物执行所述用户的手势信息对应的承接响应行为。

第三方面，本申请提供一种基于多模态数据的虚拟人物驱动系统，包括：

驱动控制模块，用于获取虚拟人物的三维形象渲染模型以利用虚拟人物提供对用户的交互服务；